Einen Memory Leak mit tracemalloc-Snapshots finden

Ziel

Wachsenden Speicherverbrauch in einem lang laufenden Python-Prozess mit reinen Mitteln der Standardbibliothek auf die Quellzeilen zurückführen, die ihn zuweisen.

Voraussetzungen

Eine Reproduktion (eine Schleife, eine Abfolge von Anfragen oder ein Job, nach dem der residente Speicher höher liegt als davor), die Möglichkeit, den Prozess mit einer Umgebungsvariable oder einem Flag neu zu starten, und Python 3.

Schritte

1. Das Tracing starten, bevor der verdächtige Code läuft: PYTHONTRACEMALLOC=25, -X tracemalloc=25 oder so früh wie möglich tracemalloc.start(25). Die Zahl ist die pro Zuweisung gespeicherte Traceback-Tiefe; die Dokumentation hält fest, dass die Voreinstellung ein Frame ist, das nur die zuweisende Zeile benennt, und dass mehr Frames nötig sind, um Statistiken nach vollständigem Traceback zu gruppieren.
2. Aufwärmen: die Operation ein paar Mal ausführen, damit Imports, Caches und Connection Pools einen stabilen Zustand erreichen, dann s1 = tracemalloc.take_snapshot() nehmen.
3. Die Operation eine bekannte Anzahl Male ausführen, zum Beispiel 100, und s2 nehmen.
4. Rauschen wie im Beispiel der Dokumentation herausfiltern: s.filter_traces((tracemalloc.Filter(False, "<frozen importlib._bootstrap>"), tracemalloc.Filter(False, "<unknown>"))).
5. Vergleichen: for stat in s2.compare_to(s1, "lineno")[:10]: print(stat). Einträge sind nach absoluter Grössendifferenz sortiert; ein Leak zeigt sich als Zeile, deren size_diff und count_diff mit der Iterationszahl skalieren. Mit dem Schlüssel "traceback" erneut ausführen und stat.traceback.format() ausgeben, um zu sehen, wer diese Zeile erreicht hat.
6. Mit einer anderen Iterationszahl bestätigen: Ein Leak wächst proportional, ein Cache erreicht ein Plateau.
7. Für Spitzen statt Wachstum den Block mit get_traced_memory() (aktuell und Spitze) und reset_peak() umschliessen, wie im Beispiel der Dokumentation.
8. Mit snapshot.dump(path) persistieren, damit jemand anders per Snapshot.load(path) inspizieren kann, ohne zu reproduzieren.

Erwartetes Ergebnis

Eine kurze Liste von Quellzeilen mit Wachstum pro Iteration und dem Aufrufpfad, der sie erreicht; die üblichen Übeltäter sind eine Liste oder ein Dict, an die angehängt wird und die nie gekürzt werden, ein unbegrenzter Cache, Objekte, die von einem Closure oder von lru_cache auf einer Methode gehalten werden, und wiederholt registrierte Handler.

Grenzen und Prüfbasis

tracemalloc sieht Zuweisungen, die über Pythons Allocatoren erfolgen; Speicher, den C-Bibliotheken direkt zuweisen, und Heap-Fragmentierung sind unsichtbar, sodass die residente Grösse wachsen kann, während die getrackte Grösse es nicht tut. Tracing kostet Speicher und CPU, die mit der Frame-Tiefe steigen (die Dokumentation bietet get_tracemalloc_memory(), um das zu messen), daher in einer Reproduktion statt dauerhaft in der Produktion einsetzen. Das Verfahren folgt der zitierten Dokumentation; es wird keine Messung behauptet.