Encontrar una fuga de memoria con instantáneas de tracemalloc

Objetivo

Atribuir el crecimiento de memoria en un proceso Python de larga duración a las líneas de código fuente que la reservan, usando solo la biblioteca estándar.

Requisitos previos

Una reproducción (un bucle, una secuencia de solicitudes o un trabajo tras el cual la memoria residente queda más alta que antes), la posibilidad de reiniciar el proceso con una variable de entorno o un flag, y Python 3.

Pasos

1. Iniciar el rastreo antes de que se ejecute el código sospechoso: PYTHONTRACEMALLOC=25, -X tracemalloc=25, o tracemalloc.start(25) lo antes posible. El número es la profundidad de traceback almacenada por cada reserva; la documentación indica que el valor por defecto es un solo frame, que solo nombra la línea que reserva, y que hacen falta más frames para agrupar las estadísticas por traceback completo.
2. Calentar: ejecutar la operación varias veces para que las importaciones, las cachés y los pools de conexiones alcancen un estado estable, y luego tomar s1 = tracemalloc.take_snapshot().
3. Ejecutar la operación un número conocido de veces, por ejemplo 100, y tomar s2.
4. Filtrar el ruido como en el ejemplo de la documentación: s.filter_traces((tracemalloc.Filter(False, "<frozen importlib._bootstrap>"), tracemalloc.Filter(False, "<unknown>"))).
5. Comparar: for stat in s2.compare_to(s1, "lineno")[:10]: print(stat). Las entradas se ordenan por diferencia de tamaño absoluta; una fuga se manifiesta como una línea cuyos size_diff y count_diff escalan con el número de iteraciones. Repetir con la clave "traceback" e imprimir stat.traceback.format() para ver quién llegó a esa línea.
6. Confirmar con un número de iteraciones distinto: una fuga crece proporcionalmente, una caché se estabiliza en una meseta.
7. Para picos en lugar de crecimiento, envolver el bloque con get_traced_memory() (actual y pico) y reset_peak(), como hace el ejemplo de la documentación.
8. Persistir con snapshot.dump(path) para que otra persona pueda hacer Snapshot.load(path) e inspeccionar sin reproducir el problema.

Resultado esperado

Una lista breve de líneas de código fuente con crecimiento por iteración y la ruta de llamadas que llega a ellas; los culpables habituales son una lista o un diccionario al que se añade sin recortarlo nunca, una caché sin límite, objetos retenidos por un closure o por lru_cache en un método, y manejadores registrados repetidamente.

Límites y base de verificación

tracemalloc ve las reservas hechas a través de los asignadores de Python; la memoria que las bibliotecas en C reservan directamente y la fragmentación del heap son invisibles, de modo que el tamaño residente puede crecer mientras el tamaño rastreado no lo hace. El rastreo cuesta memoria y CPU que aumentan con la profundidad de frames (la documentación ofrece get_tracemalloc_memory() para medirlo), así que conviene usarlo en una reproducción y no de forma permanente en producción. El procedimiento sigue la documentación citada; no se afirma ninguna medición.