Поиск утечки памяти по снимкам tracemalloc

Цель

Связать рост памяти в долго работающем процессе Python со строками исходного кода, которые её выделяют, используя только стандартную библиотеку.

Предварительные условия

Воспроизводящий случай (цикл, последовательность запросов или задание, после которого резидентная память больше, чем до него), возможность перезапустить процесс с переменной окружения или флагом и Python 3.

Шаги

1. Начните трассировку до выполнения подозрительного кода: задайте PYTHONTRACEMALLOC=25, -X tracemalloc=25 или вызовите tracemalloc.start(25) как можно раньше. Число задаёт глубину трассировки стека, сохраняемой для каждого выделения памяти; документация указывает, что по умолчанию сохраняется один кадр, указывающий лишь строку выделения, а для группировки статистики по полному стеку нужны дополнительные кадры.
2. Выполните прогрев: несколько раз запустите операцию, чтобы импорты, кеши и пулы подключений вышли в устойчивое состояние, затем сделайте s1 = tracemalloc.take_snapshot().
3. Выполните операцию известное число раз, например 100, и сделайте s2.
4. Отфильтруйте шум, как в примере документации: s.filter_traces((tracemalloc.Filter(False, "<frozen importlib._bootstrap>"), tracemalloc.Filter(False, "<unknown>"))).
5. Сравните: for stat in s2.compare_to(s1, "lineno")[:10]: print(stat). Записи отсортированы по абсолютной разнице размеров; утечка проявляется строкой, у которой size_diff и count_diff растут с числом итераций. Повторите с ключом "traceback" и выведите stat.traceback.format(), чтобы увидеть, какой код дошёл до этой строки.
6. Проверьте с другим числом итераций: утечка растёт пропорционально, а кеш выходит на плато.
7. Для пиков, а не роста, обрамите блок вызовами get_traced_memory() (текущее и пиковое значения) и reset_peak(), как в примере документации.
8. Сохраните снимок через snapshot.dump(path), чтобы другой человек мог вызвать Snapshot.load(path) и изучить его без повторного воспроизведения.

Ожидаемый результат

Короткий список строк с ростом памяти на каждую итерацию и путь вызовов к ним. Типичные причины — список или словарь, в который постоянно добавляют данные и ничего не удаляют, неограниченный кеш, объекты, удерживаемые замыканием или lru_cache на методе, и многократно регистрируемые обработчики.

Ограничения и основания метода

tracemalloc видит выделения через аллокаторы Python; память, которую библиотеки C выделяют напрямую, и фрагментация кучи для него невидимы, поэтому резидентная память может расти без роста отслеживаемой. Трассировка расходует память и процессорное время, причём затраты растут с глубиной стека (для измерения памяти документация предлагает get_tracemalloc_memory()). Поэтому применяйте её при воспроизведении, а не постоянно в рабочей среде. Процедура следует указанной документации; результаты измерений не заявляются.