Was ein Raft-Cluster garantiert: Mehrheiten, ein Leader und linearisierbare Lesevorgänge

Worum es geht

Die (zitierte) Raft-Projektseite beschreibt Konsens als eine Einigung mehrerer Server auf Werte; ist eine Entscheidung einmal getroffen, ist sie endgültig. Typische Konsensalgorithmen kommen voran, solange eine beliebige Mehrheit ihrer Server verfügbar ist (ein Cluster aus fünf Servern funktioniert weiter, wenn zwei ausfallen); bei mehr Ausfällen kommen sie zum Stillstand, liefern aber nie ein falsches Ergebnis. Raft wendet dies auf eine replizierte Zustandsmaschine an: Jeder Server führt ein Log von Befehlen, und der Algorithmus stellt sicher, dass, wenn ein Server einen Befehl als n-ten Eintrag anwendet, kein anderer Server jemals einen anderen n-ten Eintrag anwendet. Raft ist Leader-basiert; die Projektseite beschreibt es als Zerlegung in relativ unabhängige Teilprobleme, die das Raft-Paper als Leader-Wahl, Log-Replikation und Sicherheit (Safety) benennt.

Die (zitierte) etcd-Dokumentation legt fest, was ein Client erhält: Linearisierbarkeit, also die Illusion, dass jede Operation zu einem einzigen Zeitpunkt zwischen ihrem Aufruf und ihrer Antwort wirksam wird, sodass ein Lesevorgang den aktuellsten Wert liefert. Linearisierbare Anfragen durchlaufen den Raft-Konsensprozess; eine Anfrage kann stattdessen als serialisierbar markiert werden, um mit geringerer Latenz lokal bedient zu werden – auf das Risiko hin, veraltete Daten zu liefern.

Warum es wichtig ist

Nur wenige Teams implementieren Konsens selbst, aber viele hängen indirekt davon ab: Kubernetes-Zustand in etcd, Service Discovery, verteilte Sperren, Konfiguration. Wer die Garantien kennt, weiss, was während eines Vorfalls zu erwarten ist: Ein Cluster, der seine Mehrheit verloren hat, verweigert Schreibvorgänge und linearisierbare Lesevorgänge, statt zu divergieren, und ein Cluster mit zwei Mitgliedern verträgt überhaupt keinen Ausfall.

So wird es angewendet

• Eine ungerade Anzahl Mitglieder betreiben, drei oder fünf; eine gerade Anzahl bringt keine zusätzliche Ausfalltoleranz, weil die Mehrheitsschwelle mit ihr steigt.
• Mitglieder auf getrennte Ausfalldomänen verteilen, sodass der Verlust einer Domäne immer noch eine Mehrheit übrig lässt.
• Den Lesemodus pro Aufruf wählen: linearisierbar dort, wo eine veraltete Antwort zu falschen Entscheidungen führt (Leases, Sperren, Zähler), serialisierbar für Lesevorgänge mit hohem Volumen, die Veraltung tolerieren.
• Einträge klein und den Datensatz überschaubar halten; jeder Schreibvorgang wird an eine Mehrheit repliziert und dauerhaft gespeichert, bevor er bestätigt wird, sodass die Latenz der Datenträger-Synchronisation den Durchsatz begrenzt.
• Bedingte Schreibvorgänge (aktuelle Revision prüfen, dann aktualisieren) statt eines Lese-dann-Schreibe-Vorgangs vom Client aus verwenden; Konsens ordnet das Log, macht aber zwei Client-Aufrufe nicht atomar.

Stolpersteine

Ein Schreibvorgang, der in ein Timeout läuft, kann trotzdem committed worden sein; nur mit einer idempotenten Operation erneut versuchen. Ein Server, der Leader war, weiss möglicherweise noch nicht, dass er abgelöst wurde – deshalb brauchen Leader-basierte Lesevorgänge eine explizite Prüfung und Inhaber einer Lease weiterhin Fencing. Der Verlust des Quorums ist ein Ausfall von Schreibvorgängen, nicht von Daten.

Zwei Standorte reichen nicht

Damit eine Mehrheit den Ausfall einer Domäne übersteht, braucht es mindestens drei Ausfalldomänen. Bei zwei Standorten verlieren drei Mitglieder, die zwei und eins aufgeteilt sind, das Quorum, wenn der grössere Standort ausfällt, und vier gleichmässig aufgeteilte Mitglieder verlieren es, wenn einer der beiden ausfällt; keine Platzierung hilft dagegen. Mit nur zwei Standorten bewusst wählen: die Mehrheit dort platzieren, wo die Last läuft, und akzeptieren, dass der Verlust dieses Standorts Schreibvorgänge stoppt; ein kleines drittes Mitglied an einem separaten Ort als Stimmenzünglein hinzufügen und akzeptieren, dass dessen Round-Trip-Latenz nun Commits begrenzt; oder den Cluster an einem Standort belassen und den zweiten als Backup-Ziel statt als Konsens-Teilnehmer nutzen.