AIX-Fehlerprotokoll mit errpt lesen und in syslog weiterleiten

Worum es geht

errpt liest das binäre Fehlerprotokoll von AIX, die standardmässige Hardware- und Software-Fehlerprotokollierung von AIX, die Fehler lokal für Erkennung und Behebung festhält. Anders als syslog wird es vom Kernel und von Systemkomponenten über das Error-Logging-Subsystem befüllt und nicht von Prozessen, die Textzeilen schreiben. Es startet sehr früh beim Booten, nämlich in Phase 3 (der brc-Eintrag /sbin/rc.boot 3 weit oben in /etc/inittab), deutlich bevor rc.tcpip das Netzwerk und damit syslogd hochfährt. Deshalb kann errpt Hardwarefehler beim Booten erfassen, die ein netzwerkabhängiger syslog-Server verpassen würde.

errpt allein listet eine Zusammenfassung mit einer Zeile pro Ereignis; errpt -a liefert die vollständigen Details zu jedem Eintrag, und ein Filter wie -N hdisk0 (Ressource) oder -d H (Fehlerklasse) grenzt den Bericht ein. errclear (als root) entfernt Einträge nach Fehlerklasse und Alter, zum Beispiel Einträge der Klasse "S" (Software) und "O" (Operator/errlogger), die älter als 30 Tage sind, oder Einträge der Klasse "H" (Hardware), die älter als 90 Tage sind.

Warum es wichtig ist

Errpt als verzichtbar zu betrachten, weil "die Anwendung ohnehin nach syslog loggt", übersieht Fehler, die die Anwendungsschicht nicht sehen kann: Ereignisse von Platten, Adaptern und Firmware landen nur in errpt, sofern sie nicht ausdrücklich weitergeleitet werden. Umgekehrt darf die Fehlerprotokolldatei nie direkt geleert werden (zum Beispiel mit cp /dev/null): Das schaltet die Fehlerprotokollierung vollständig ab, statt nur Einträge zu löschen, und laut IBM muss eine errlog-Datei mit Länge null dann ersetzt werden. Das Protokoll ist mit errclear zu kürzen; soll es komplett geleert werden, ist der Daemon zu stoppen (/usr/lib/errstop), /var/adm/ras/errlog zu verschieben und /usr/lib/errdemon neu zu starten – die gesamte Historie geht dabei verloren.

So wird es angewendet

• Aktuelle Ereignisse prüfen: errpt für eine Zusammenfassung, errpt -a für die vollständigen Details zu einem bestimmten Eintrag.
• Aufbewahrung per Zeitplan regeln statt ad hoc zu löschen: Ein cron-Eintrag wie errclear -d S,O 30 und ein separater für errclear -d H 90 verhindert, dass das Protokoll unbegrenzt wächst, und hält aktuelle Hardware-Nachweise länger vor.
• Um Ereignisse nach syslog zu spiegeln, ein Error-Notification-Objekt anlegen (eine errnotify-Stanza, die als root mit odmadd geladen wird und mit en_persistenceflg = 1 persistent bleibt), dessen en_method logger aufruft, statt zu versuchen, das binäre Fehlerprotokoll direkt mit tail zu verfolgen.
• Für andere AIX-Logs ausserhalb von errpt (Meldungen von Daemons und Anwendungen) /etc/syslog.conf wie bei jeder Unix-syslog-Implementierung konfigurieren und daran denken, dass syslog beim Booten später startet als die Fehlerprotokollierung.

Stolpersteine

• Das Fehlerprotokoll mit einem Befehl zum Abschneiden der Datei statt mit errclear leeren; dadurch ist die Fehlerprotokollierung abgeschaltet, bis die errlog-Datei ersetzt wird.
• Erwarten, dass syslog allein Bootfehler vor dem Netzwerkstart erfasst, die nur errpt sieht.
• Die einzeilige Zusammenfassung mit grep durchsuchen, statt die eigenen Filter von errpt zu nutzen (-d, -T, -N, -s/-e für einen Zeitraum) und für die relevanten Einträge errpt -a zu lesen.