Erster Blick auf einen fehlerhaften Prozess mit strace und tcpdump

Ziel

Innerhalb von Minuten und ohne Code zu ändern zwei Fragen zu einem hängenden oder fehlschlagenden Prozess beantworten: Worauf wartet er, und antwortet die Netzwerk-Gegenstelle überhaupt?

Voraussetzungen

Root, oder CAP_SYS_PTRACE für strace und CAP_NET_RAW für tcpdump. Das Yama-Modul des Kernels (kernel.yama.ptrace_scope, dokumentiert auf der zitierten Seite) schränkt das Anhängen an fremde Prozesse ein, wenn es auf 1 oder höher gesetzt ist, sodass ein unprivilegiertes Attach selbst beim eigenen Prozess fehlschlagen kann. Eine ungefähre Vorstellung von der Prozess-ID und dem betroffenen Port.

Schritte

1. Die PID und ihren aktuellen Zustand ermitteln: ps -o pid,stat,wchan:32,cmd -p PID; Zustand D oder ein wchan, der eine Netzwerkfunktion nennt, grenzt die Suche bereits ein.
2. Kurz anhängen: timeout 20 strace -f -p PID -T -e trace=%network,%file -o /tmp/trace.txt (-f / --follow-forks folgt Threads und Kindprozessen, -T gibt die in jedem Aufruf verbrachte Zeit aus, %network und %file wählen Aufrufgruppen aus). Ein Prozess, der das gesamte Fenster in read, recvfrom oder futex blockiert, wartet, statt zu arbeiten.
3. Die Datei nach den letzten abgeschlossenen Aufrufen vor der Blockade durchsehen: welcher Deskriptor, welche Adresse (connect zeigt die Gegenstelle), welcher Pfad. Deskriptoren mit ls -l /proc/PID/fd zuordnen.
4. Den entsprechenden Verkehr mit einem engen Filter und einer Grenze aufzeichnen: tcpdump -ni any -c 200 -w /tmp/cap.pcap 'host 203.0.113.5 and port 5432'. -n vermeidet DNS-Abfragen, -c stoppt nach 200 Paketen, -w schreibt rohe Pakete (die Standard-Snaplen von 262144 Bytes behält ganze Pakete).
5. Mit tcpdump -nr /tmp/cap.pcap oder einem grafischen Analysewerkzeug untersuchen. Nach wiederholten SYNs ohne SYN-ACK suchen (nichts lauscht oder gefiltert), Retransmissionen (Verlust), RST (die Gegenstelle hat abgelehnt oder zurückgesetzt) oder einer Anfrage ohne Antwort innerhalb des Timeouts der Anwendung.
6. Beide Werkzeuge stoppen, die Antwort notieren, und erst dann tiefergehende Werkzeuge in Betracht ziehen (perf, Anwendungs-Profiler, längere Aufzeichnungen mit -C und -W für rotierende Dateien).

Erwartetes Ergebnis

Eine einzeilige Diagnose der Form „blockiert in recvfrom auf der Verbindung zu X; X sendet nie eine Antwort“ oder „die Anfrage verlässt den Host nie“, die auf die nächste zu untersuchende Komponente hinweist.

Grenzen und Prüfbasis

strace(1) hält fest, dass ein verfolgter Prozess langsamer läuft als ein nicht verfolgter; ihn nicht dauerhaft an einem produktiven Hotpath angehängt lassen. Die im Handbuch genannte Abhilfe, --seccomp-bpf, funktioniert nur, wenn strace den Befehl selbst mit -f startet; sie ist bei einem mit -p angehängten Prozess nicht anwendbar, sodass das oben beschriebene Zeitfenster zwischen Anhängen und Trennen die einzige Begrenzung ist. Aufzeichnungen enthalten Nutzdaten und Geheimnisse; pcap-Dateien als sensibel behandeln und löschen. TLS-Verkehr zeigt nur Handshake und Grössen. Die Werkzeugoptionen stammen aus den zitierten Handbüchern; es werden keine Zeit- oder Overhead-Angaben behauptet.