Methodologies for Reproducible Analysis of Workflows on the Edge-to-Cloud Continuum
Méthodologies pour l’Analyse Reproductible des Workflows Edge-to-Cloud
Résumé
Distributed infrastructures for computation and analytics are now evolving towards an interconnected ecosystem allowing complex applications to be executed on the Edge-to-Cloud continuum. Understanding and optimizing end-to-end performance in such a complex continuum is challenging. One crucial challenge is accurately reproducing relevant behaviors of a given application workflow and representative settings of the physical infrastructure underlying this complex continuum. This thesis is a conceptual and practical contribution to the Edge-to-Cloud continuum, proposing and applying methodologies in novel environments. Our methodologies aim at overcoming the complexity of understanding and optimizing Edge-to-Cloud workflows. As such, they enable reproducible experiment design, application optimization, efficient workflow provenance capture, and costeffective experiment reproducibility. We validated our proposal by first developing the E2Clab framework that supports the complete analysis cycle of an application on the Edge-to-Cloud Continuum and then using E2Clab to optimize Pl@ntNet, a global plant identification application. Large-scale experimental validation on Grid’5000 shows that our methodology has proven helpful for understanding and improving the performance of Pl@ntNet.
Les infrastructures distribuées pour le calcul et l’analyse évoluent désormais vers un écosystème interconnecté permettant l’exécution d’applications complexes dans le continuum Edge-to-Cloud. Comprendre et optimiser les performances de bout en bout dans ce contexte est un défi majeur. Un besoin crucial consiste à reproduire avec précision les comportements pertinents des workflows et les paramètres représentatifs de l’infrastructure physique sous-jascente. Cette thèse est une contribution conceptuelle et pratique au continuum Edge-to- Cloud, proposant des méthodologies et les appliquant dans des environnements novateurs. Nos méthodologies ont pour but de s’affranchir de la complexité de la compréhension et de l’optimisation des workflows dans le continuum Edge-to-Cloud. Ainsi, elles permettent la conception d’expériences reproductibles, l’optimisation des applications, la capture efficace des données de provenance des exécutions de workflows, et la reproductibilité des expériences. Nous avons validé notre proposition avec, d’abord, le développement du framework E2Clab qui supporte le cycle complet d’analyse d’une application dans le continuum Edge-to-Cloud, et ensuite, l’utilisation de E2Clab pour l’optimisation Pl@ntNet, une application mondiale d’identification des plantes. La validation expérimentale à grande échelle sur Grid’5000 montre que notre méthodologie s’est avérée utile pour comprendre et améliorer les performances de Pl@ntNet.
Origine : Version validée par le jury (STAR)