Federated Averaging: lokales Training, Client-Gewichtung und heterogene Daten

Was Federated Averaging bedeutet

Federated Learning koordiniert das Training eines Modells, während die Trainingsdaten auf die Clients verteilt bleiben. Beim Federated Averaging (FedAvg) trainieren die Clients lokale Kopien eines gemeinsamen Modells, und ein Server aggregiert die resultierenden Parameter oder Updates. Das ursprüngliche Verfahren wurde für begrenzte Kommunikationskapazität sowie für ungleich grosse und unterschiedlich verteilte Client-Daten entworfen. [1]

Ablauf einer einfachen Trainingsrunde

Der Server verteilt das aktuelle Modell an die teilnehmenden Clients. Jeder Client startet vom selben Modell und führt eine festgelegte Menge lokaler Optimierung durch. Anschliessend bildet der Server aus den zurückgesendeten Modellen ein Aggregat, üblicherweise gewichtet nach der Anzahl der Trainingsbeispiele, die der jeweilige Client beisteuert. Die nächste Runde beginnt mit dem Aggregat. Modellarchitektur, Parameterreihenfolge und Merkmalsinterpretation müssen übereinstimmen; es handelt sich nicht um ein beliebiges Mitteln unabhängig entworfener Netze. [1]

Eine Evaluation entwerfen

Eine praxisnahe Evaluation protokolliert die Richtlinie zur Client-Auswahl, die lokalen Epochen, die Batchgrösse, die Lernrate, die Aggregationsgewichte sowie ausgefallene oder verspätete Beiträge. Kommunikationsrunden, übertragene Bytes und Modellqualität sind gemeinsam zu vergleichen. Eine Konfiguration mit weniger Runden kann trotzdem langsamer sein, wenn der lokale Aufwand oder die Kommunikationsnutzlast wächst.

Während der Evaluation sind realistische Client-Partitionen beizubehalten. Sowohl die nach Beispielen gewichtete Leistung als auch eine Sicht auf Client-Ebene sind samt Stichprobenzahlen auszuweisen. Dieser vorgeschlagene Berichtsaufbau macht erkennbar, ob eine globale Verbesserung vor allem den grössten Clients zugutekommt.

Veranschaulichendes Gewichtungsbeispiel

Angenommen, alle drei Clients nehmen teil und besitzen 100, 300 und 600 gleich gewichtete Trainingsbeispiele. Ihre normalisierten Stichprobengewichte betragen 0.1, 0.3 und 0.6. Für einen Parameter ergeben lokale Werte von 1, 3 und 5 den Wert 0.1*1 + 0.3*3 + 0.6*5 = 4.0.

Ein Durchschnitt mit gleichem Gewicht pro Client ergäbe 3.0 und steht für eine andere Gewichtungsentscheidung. Keine der beiden Zahlen belegt die Vorhersagequalität. Das Rechenbeispiel veranschaulicht nur die Aggregation; es ist weder ein Trainingsergebnis noch ein Argument dafür, dass grössere Clients die Zielfunktion stets dominieren sollten.

Grenzen und Datenschutz

Clients können sich in Klassenhäufigkeiten, Merkmalsverteilungen, Beziehungen zwischen Merkmalen und Labels sowie in ihrer Verfügbarkeit unterscheiden. Solche Heterogenität kann dazu führen, dass lokale Updates in unterschiedliche Richtungen ziehen. Mehr lokales Training verschiebt den Zielkonflikt zwischen Kommunikation und Optimierung und ist keine allgemeingültige Verbesserung. [2]

Die lokale Speicherung der Rohdaten macht Modellupdates nicht harmlos. Secure Aggregation kann einzelne Beiträge unter den Annahmen ihres Protokolls vor dem Server verbergen, doch das Aggregat und das veröffentlichte Modell können weiterhin Informationen preisgeben. Differential Privacy erfordert einen zusätzlichen, spezifizierten Mechanismus samt Privacy Accounting; sie ist keine automatische Eigenschaft von FedAvg. [2] Hier wird weder ein Federated-Training-Experiment noch ein Datenschutzbeweis noch ein Deployment-Benchmark behauptet.

Quellen

[1] Communication-Efficient Learning of Deep Networks from Decentralized Data

[2] Advances and Open Problems in Federated Learning