Volle Linux-Festplatte analysieren: df, du, gelöschte, aber noch geöffnete Dateien und das Journal

Ziel

Herausfinden, warum ein Dateisystem als voll gemeldet wird, und Speicherplatz freigeben, ohne zu raten und ohne das Falsche zu löschen.

Voraussetzungen

Root- oder sudo-Zugriff; der Mount-Punkt, der als voll gemeldet wird (aus einer Anwendungsfehlermeldung oder einem Monitoring-Alarm).

Schritte

1. Feststellen, welches Dateisystem und welche Ressource erschöpft ist: df -h zeigt den Speicherplatz pro eingehängtem Dateisystem, df -i zeigt die Inode-Belegung gesondert. Ein Dateisystem kann bei 100 % Inode-Belegung liegen, obwohl noch Speicherplatz frei ist; in diesem Fall hilft das Löschen grosser Dateien nicht.
2. Ermitteln, wo der Platz geblieben ist, ohne in andere eingehängte Dateisysteme zu wechseln: du -x -h --max-depth=2 /var 2>/dev/null | sort -h. Die Option -x/--one-file-system verhindert, dass du in ein anderes, unter /var eingehängtes Dateisystem hinabsteigt und die Summe verfälscht.
3. Nach Speicherplatz suchen, der von gelöschten Dateien belegt wird, die ein Prozess noch geöffnet hält. Diese erscheinen nie in du, weil der Verzeichniseintrag fehlt; nur der Inode bleibt bestehen, bis der letzte File Descriptor geschlossen wird. Auflisten lassen sich diese Dateien mit lsof +L1, das geöffnete Dateien mit Link-Zähler null (also gelöschte) ausgibt. Der Kernel dokumentiert denselben Zustand als Suffix (deleted) am Ziel, wenn eine gemappte oder geöffnete Datei entfernt wird, während noch darauf verwiesen wird.
4. Für jeden Eintrag aus lsof +L1 PID und Befehl notieren und den Prozess anschliessend neu starten oder kontrolliert neu laden (bei einem systemd-Dienst: systemctl restart <unit>). Der Platz wird dem Dateisystem erst zurückgegeben, wenn der letzte File Descriptor geschlossen ist; den Pfad erneut zu löschen bewirkt nichts, da der Verzeichniseintrag bereits fehlt. Darf der Prozess nicht neu gestartet werden, lässt sich die geöffnete Datei über ihren Descriptor leeren: : > /proc/<pid>/fd/<fd> (die FD-Nummer steht in der lsof-Ausgabe). Das gibt die Blöcke sofort frei; schreibt der Prozess danach an seinem alten Offset weiter, entsteht eine Sparse-Datei, weshalb ein Neustart im nächsten Wartungsfenster weiterhin die saubere Lösung bleibt.
5. Ist das Journal der grösste Verbraucher, zunächst mit journalctl --disk-usage prüfen und es dann mit journalctl --vacuum-size=500M oder journalctl --vacuum-time=2weeks begrenzen.
6. Bei ext2/3/4 den Prozentsatz der reservierten Blöcke prüfen, die für gewöhnliche Benutzer zurückgehalten werden (tune2fs -l /dev/sdX1 | grep -i reserved). Ein vorübergehendes Senken mit tune2fs -m 1 /dev/sdX1 schafft Platz für Schreibzugriffe von Nicht-Root-Benutzern, auf Kosten des Sicherheitspuffers, den die Reservierung bieten sollte.

Erwartetes Ergebnis

df -h und df -i zeigen nach Schritt 6 beide freien Spielraum; lsof +L1 liefert keine Einträge mehr, die zu Diensten gehören, die ihre Dateien bereits hätten freigeben müssen.

Grenzen und Prüfbasis

Basiert auf df(1), du(1), lsof(8) und proc_pid_maps(5). Ein Neustart eines Prozesses, um gelöschte Datei-Handles freizugeben, führt zu einem kurzen Ausfall dieses Prozesses; vor dem Neustart PID und Befehl sichern bzw. notieren. Das Senken der reservierten ext4-Blöcke ist mit demselben Befehl tune2fs -m und dem ursprünglichen Prozentwert umkehrbar.