Design, development and evaluation of gossip learning algorithms in dynamic setups

La montée en puissance de l’edge computing et la demande croissante pour des méthodes de <i>Machine Learning</i> respectueuses de la vie privée ont accéléré le besoin de paradigmes d’apprentissage décentralisé. Parmi eux, le <i>Gossip Learning</i> propose une approche totalement distribuée et sans serveur, où les noeuds échangent et fusionnent des modèles pour apprendre de manière collaborative sans partager de données brutes. Bien que prometteur pour la scalabilité et la protection de la vie privée, les cadres existants de <i>Gossip Learning</i> supposent souvent des topologies statiques ou entièrement connectées — des hypothèses peu réalistes dans des environnements réels tels que les réseaux véhiculaires (VANETs) et l’Internet des Objets (IoT), caractérisés par la mobilité, le renouvellement des noeuds et des contraintes de ressources.<br>Cette thèse s’attaque à ces limitations en concevant, développant et évaluant une série d’algorithmes de <i>Gossip Learning</i> spécifiquement adaptés aux environnements dynamiques. Le travail est structuré en trois parties principales.<br>Première partie : Nous proposons des cadres personnalisés de <i>Gossip Learning</i> pour les réseaux hautement dynamiques tels que les VANETs, où chaque noeud maintient son propre modèle personnalisé et l’améliore par des échanges pair-à-pair opportunistes. Nous développons de nouvelles stratégies de fusion de modèles, notamment une pondération basée sur l’utilité marginale et une approche de moyenne géolocalisée. Appliquées à la prédiction de trajectoires à court terme, ces méthodes démontrent une convergence rapide et une précision robuste dans des scénarios de mobilité urbaine réalistes.<br>Deuxième partie : Nous analysons l’impact des structures d’interactions dynamiques sur <i>Gossip Learning</i> en introduisant une famille de <i>Time-Varying Graphs (TVGs)</i> qui simulent des comportements réalistes de réseau, notamment la persistance des liens et le churn des noeuds. Ces modèles permettent une évaluation contrôlée des facteurs structurels et temporels affectant la convergence. Nos résultats montrent que l’équilibre entre l’exploration (par reconfiguration des liens) et l’exploitation (par stabilisation des connexions) est essentiel pour maintenir de bonnes performances, et que les topologies à attachement préférentiel (scale-free) résistent mieux au churn que les graphes aléatoires.<br>Troisième partie : Nous nous concentrons sur l’optimisation énergétique dans les environnements contraints. Nous présentons <i>Optimized Gossip Learning (OGL)</i>, un cadre qui ajuste dynamiquement les paramètres d’apprentissage locaux — tels que le nombre d’époques d’entraînement et la fréquence d’échanges de modèles — en fonction du contexte et des ressources disponibles à chaque noeud. Un orchestrateur basé sur un <i>Deep Neural Network (DNN)</i> fournit des recommandations d’ajustement en temps réel, permettant aux noeuds de fonctionner efficacement sans coordination centralisée. Nos évaluations sur des <i>TVGs</i> synthétiques et des traces de mobilité urbaine réelles confirment que notre approche réduit significativement la consommation d’énergie tout en conservant une précision d’apprentissage compétitive.<br>Dans l’ensemble, cette thèse fait progresser le <i>Gossip Learning</i> en tant que solution pratique pour l’apprentissage décentralisé dans des environnements volatils, limités en bande passante et en énergie. Les méthodes proposées apportent à la fois des contributions théoriques et des solutions pratiques pour rendre possible l’intelligence collaborative à la périphérie du réseau.

The rise of edge computing and the growing demand for privacy-preserving Machine Learning (ML) have accelerated the need for decentralized learning methods. Among these, Gossip Learning (GL) offers a fully distributed, serverless approach in which nodes exchange and merge models to collaboratively learn without sharing raw data. While promising for scalability and privacy, existing GL frameworks typically assume static or fully connected topologies, which do not hold in real-world environments such as vehicular and Internet of Things (IoT) networks, characterized by mobility, node churn, and resource constraints.<br>This thesis addresses these limitations by designing, developing, and evaluating a suite of GL algorithms tailored for dynamic network environments. The work is organized into three main parts.<br>Part I proposes personalized GL frameworks for highly dynamic networks such as VANETs, where nodes maintain individualized models and improve them via peer-to-peer exchange. We develop novel merging strategies, including marginal utility-based weighting and location-based averaging, that enhance learning performance under non-Independent and Identically Distributed (non-IID) data distributions and transient connectivity. Applied to trajectory nowcasting, our methods demonstrate fast convergence and robust accuracy across a diverse range of urban mobility scenarios.<br>Part II investigates how temporal and structural changes in network topology impact GL performance. Existing studies often rely on static graphs or application specific mobility traces, providing limited generalizable insights into dynamic environments. To address this gap, we develop a principled evaluation framework based on Time-Varying Graphs (TVG)s, capturing key real-world phenomena such as node churn, edge memory, and evolving connectivity. We propose new classes of TVGs which integrate edge persistence and node churn while preserving the structural properties of their static counterparts. We show that the balance between exploration (via rewiring) and exploitation (via stable links) is critical for performance, and that scale-free networks are more resilient than random graphs under high churn conditions. These findings provide crucial insights into designing adaptive, robust GL strategies for volatile, real-world networks.<br>Part III focuses on energy-efficient learning in resource-constrained environments. We present an optimized GL framework, OGL, that dynamically adjusts local learning parameters, such as training epochs and model exchange frequency, based on contextual information and device constraints. A data-driven DNN-based orchestrator provides tuning guidance, enabling nodes to operate efficiently without centralized control. Evaluation on synthetic graphs and real-world vehicular traces confirms that OGL significantly reduces energy consumption while achieving competitive learning accuracy.<br>Overall, this thesis advances GL as a practical solution for decentralized learning
in volatile, bandwidth-limited, and energy-constrained settings. The proposed methods contribute to both theoretical understanding and real-world applicability of scalable, privacy-preserving learning at the network edge.