PACE Francesco

Thesis

Mécanismes pour des applications distribuées efficaces et réactives dans les clusters de calcul

Cette thèse se concentre sur l'amélioration de la réactivité des applications distribuées dans les clusters de calcul. Nous définissons une application analytique comme une composition de frameworks de haut niveau, leurs composants et la logique nécessaire pour effectuer le travail.

L'idée clé est de distinguer les classes de composants, y compris les types de base et les types élastiques : les premiers étant requis pour qu'une application progresse, les derniers contribuant à réduire les temps d'exécution. La planification de telles applications pose de nouveaux défis, que les approches existantes abordent de manière inefficace. Nous présentons la conception et l'évaluation d'une nouvelle heuristique flexible, qui vise une grande réactivité du système, en allouant les ressources de manière efficace.

En surveillant l'utilisation des ressources et en utilisant une approche basée sur les données pour la prévision de la demande, nous pouvons moduler les ressources des applications sur les clusters et réduire le délai d'exécution de plus d'un ordre de grandeur tout en maintenant les défaillances des applications sous contrôle.

Pour améliorer encore l'efficacité et la réactivité des applications distribuées, nous étudions leurs performances dans les architectures des fournisseurs de cloud actuels. Avec la virtualisation, les architectures du cloud peuvent complètement séparer le calcul et le stockage, ce qui conduit à la perte de la localisation des données. Nous disséquons les performances obtenues par les charges de travail analytiques et dévoilons les problèmes dus à la différence d'impédance qui survient dans certaines configurations. Nous résolvons une partie des problèmes en développant Stocator, qui améliore le temps d'exécution des applications en utilisant des stockages d'objets par ordre de grandeur et réduit les coûts tant pour le client que pour le fournisseur de services de stockage.