Zeitgestempelte, maschinenlesbare Logs: RFC 5424 vs. RFC 3164, JSON-Templates und warum UTC

Worum es geht

RFC 3164 beschreibt das ältere BSD-Syslog-Protokoll, das viele Geräte nach wie vor verwenden. Eine Nachricht besteht dort aus einem PRI-Teil, gefolgt von HEADER und MSG; der Zeitstempel enthält weder Jahr noch Zeitzone und ist nur sekundengenau. RFC 5424 hat dieses Format durch ein strukturiertes ersetzt: Der HEADER enthält immer PRI, VERSION und ein TIMESTAMP-Feld, das entweder der NILVALUE - oder FULL-DATE "T" FULL-TIME ist. Es ist ausdrücklich von RFC 3339 abgeleitet und ergänzt Jahr, Sekundenbruchteile und einen expliziten Zeitzonen-Offset (oder Z für UTC). RFC 5424 selbst hält fest, der in RFC 3164 beschriebene Zeitstempel „offers less precision than the timestamp specified in this document“ und „also lacks the year and time zone information“. Genau deshalb braucht die Umwandlung zwischen beiden Formaten besondere Sorgfalt: Wer 5424 nach 3164 konvertiert, verliert Jahr und Zone; wer 3164 nach 5424 konvertiert, muss beides erraten.

rsyslog kann beide Stile über eingebaute Templates ausgeben (RSYSLOG_SyslogProtocol23Format für den 5424-Stil, RSYSLOG_TraditionalForwardFormat für den 3164-Stil) oder eine ganz eigene Struktur erzeugen: Ein list-Template mit option.jsonf="on" und property(... format="jsonf")-Feldern gibt ausgewählte Properties, auch Zeitstempel, als korrekt maskiertes JSON-Objekt aus. Das lässt sich von einem nachgelagerten Parser oder Agenten deutlich einfacher zuverlässig verarbeiten als Freitext.

Warum es wichtig ist

Ein Agent oder Skript, das Zeitstempel in Logs per grep oder regulärem Ausdruck auswertet, muss ohne Raten wissen, in welchem Format, mit welcher Genauigkeit und in welcher Zeitzone sie vorliegen. Ein Zeitstempel im 3164-Stil enthält kein Jahr; eine rund um den Jahreswechsel protokollierte Nachricht lässt sich Monate später deshalb nicht eindeutig zuordnen. Ein Zeitstempel im 5424-Stil mit explizitem Offset oder ein JSON-Feld mit einem ISO-8601-/RFC-3339-String beseitigt diese Mehrdeutigkeit von vornherein.

So wird es angewendet

• Quellen und Forwarder bevorzugt auf RFC-5424-Ausgabe statt auf das ältere RFC 3164 konfigurieren, sofern die Wahl besteht.
• Beim Erstellen eines eigenen rsyslog-Templates für eine Log-Analyse-Pipeline Zeitstempel im RFC-3339-Format mit explizitem Z oder Offset ausgeben und ein jsonf-basiertes Template in Betracht ziehen, damit die Feldgrenzen eindeutig sind.
• Die Zeitzone der Server auf UTC setzen (timedatectl set-timezone UTC, als root) oder zumindest in jedem Zeitstempel einen expliziten UTC-Offset protokollieren, damit für die Korrelation von Ereignissen über Hosts in unterschiedlichen lokalen Zeitzonen kein Umrechnungsschritt nötig ist.
• Beim Parsen von Logs Dritter zuerst das Format erkennen (ein vierstelliges Jahr und ein Offset bzw. Z deuten auf 5424/RFC 3339, ein dreibuchstabiger Monatsname ohne Jahr auf 3164), statt eines von beiden vorauszusetzen.

Stolpersteine

• Annehmen, dass alle „Syslog“-Nachrichten dasselbe Zeitstempelformat haben; Geräte mit RFC 3164 sind in der Praxis weiterhin verbreitet.
• Logs in Ortszeit ohne Offset speichern; dadurch lassen sich Sommerzeitwechsel oder Deployments über mehrere Regionen im Nachhinein nicht mehr korrekt in eine Reihenfolge bringen.
• Beim Umformatieren führende Nullen in Sekundenbruchteilen weglassen. RFC 5424 nennt das in Anhang A.4 einen sehr häufigen Programmierfehler: .003 als .3 geschrieben macht aus 3 ms 300 ms.