NTP, DNS und DHCP nach einem vollständigen Netzwerkausfall hochfahren: Neustart in Abhängigkeitsreihenfolge

Ziel

Nach einem vollständigen Ausfall, bei dem NTP, DNS und DHCP gleichzeitig nicht verfügbar waren, die zentralen Infrastrukturdienste in einem kleinen Netzwerk in einer Reihenfolge neu starten, in der jeder Dienst korrekt hochkommt.

Voraussetzungen

Bekannt sein muss, welcher Host welchen Dienst betreibt. Auf jeden Host muss Konsolen- oder Out-of-Band-Zugriff bestehen, da netzwerkabhängiger Fernzugriff womöglich noch nicht funktioniert. Die grundlegende Konnektivität der Hosts muss bereits wiederhergestellt sein (Strom, physische bzw. virtuelle Netzwerkverbindungen aktiv). Die NTP-, DNS- und DHCP-Server selbst müssen statische Adressen haben und dürfen nicht per DHCP konfiguriert sein.

Schritte

1. Zuerst die Zeit bereitstellen, und zwar auf dem bzw. den Hosts, die NTP anbieten. Zertifikatsvalidierung, Kerberos-Ticketlaufzeiten und der Abgleich von Log-Zeitstempeln im weiteren Wiederanlauf setzen voraus, dass die Uhren annähernd richtig gehen. Ist die Uhr eines Servers während des Ausfalls stark abgewichen, sollte sie per Step oder Slew korrigiert werden dürfen, bevor Dienste davon abhängen, die Gültigkeitszeiträume von Zertifikaten prüfen. Auch ein DNSSEC-validierender Resolver schlägt bei stark falscher Uhrzeit fehl. Die Abhängigkeit ist allerdings zirkulär: Ein NTP-Server, dessen Upstreams Hostnamen sind (ein Pool-Name, NTS-Server), erreicht diese erst, wenn DNS funktioniert. Bis dahin liefert er nur die Zeit der Hardware-Uhr oder, falls konfiguriert, seine local-Referenz. Daher mindestens einen Upstream per IP-Adresse angeben oder in Kauf nehmen, dass die Zeit nach dem Start von DNS nochmals korrigiert wird.
2. Als Nächstes DNS auf dem bzw. den Hosts starten, die es bereitstellen. Viele Dienste finden einander und validieren TLS-Zertifikate über Namen. Wird DNS vor DHCP gestartet, können auch statisch konfigurierte Hosts bereits Namen auflösen, einschliesslich des DHCP-Servers selbst, falls sein eigener Start etwas per Namen auflöst.
3. DHCP als letzten der drei Dienste starten. Clients, die ihre Lease verloren haben, brauchen DHCP, damit wieder Adressen vergeben werden. Der DHCP-Server kann von korrekter Zeit profitieren (Lease-Zeitstempel, Logs) und benötigt DNS nur für dynamische DNS-Updates, sofern konfiguriert.
4. Jeden Dienst von einem Client aus prüfen, bevor das Netzwerk als wiederhergestellt gilt: eine Zeitprüfung (nähert sich die Uhr des Clients dem NTP-Server an), eine Namensauflösung für einen internen und einen externen Namen sowie eine DHCP-Lease-Erneuerung auf einem freien Client.
5. Erst wenn alle drei Dienste bestätigt sind, die Dienste neu starten, die von allen dreien abhängen: die Authentifizierung (Kerberos/LDAP, die korrekte Zeit und auflösbare Namen benötigen) sowie Anwendungsdienste, die kurzlebige Zertifikate oder Service Discovery über Namen nutzen.

Erwartetes Ergebnis

Jeder Dienst sollte starten, ohne auf einen der beiden anderen zu warten oder wegen dessen Ausfalls unbemerkt fehlzuschlagen. Die Clients sollten ihre volle Konnektivität in derselben Reihenfolge zurückerhalten, in der die Dienste hochgekommen sind, ohne einen zweiten Neustartdurchlauf wegen einer übersehenen Abhängigkeit.

Grenzen und Prüfbasis

Dies ist eine vorgeschlagene allgemeine Reihenfolge und kein Ersatz für ein standortspezifisches Runbook: In einem Netzwerk, in dem die Adresse des DHCP-Servers statisch ist und DNS vom selben Host wie NTP bereitgestellt wird, gibt es weniger tatsächliche Abhängigkeiten, die in eine Reihenfolge zu bringen sind. Bei virtualisierten oder containerisierten Umgebungen, in denen alle drei Dienste als Anwendungsdienste hinter einem eigenen Load Balancer laufen, können zusätzliche Abhängigkeiten bestehen, etwa die Control Plane des Hypervisors oder des Orchestrators, die vor allen drei Diensten verfügbar sein muss. Für diese Reihenfolge wird weder ein Experiment noch eine Feldmessung beansprucht; sie ist aus den üblichen Abhängigkeiten dieser Dienste von Zeit und Namensauflösung abgeleitet, und ein konkreter Standort kann weniger oder andere Abhängigkeiten haben.