Непрерывное профилирование в продакшене: постоянно включённое сэмплирующее профилирование и на какие вопросы оно отвечает

Что это

Документация Parca определяет непрерывное профилирование как систематический сбор профилей программ (CPU, память, I/O и другие) с последующим сбором, хранением и запросом этих данных во времени. Единицей хранения выступает серия профилей, идентифицируемая типом профиля и метками ключ/значение, к которой можно обращаться на языке селекторов меток. Parca объясняет, почему это может работать постоянно: используется сэмплирующее профилирование, которое фиксирует трассировку стека через определённые интервалы, а не инструментирует каждый вызов, и поэтому создаёт настолько малые накладные расходы, что его можно держать постоянно включённым в продакшене. Grafana Pyroscope описывает себя точно так же — как систему агрегации непрерывного профилирования, которая сопоставляет профили с метриками, логами и трейсами.

Профили поступают из трёх типов источников: рантайм-эндпоинты (пакет net/http/pprof в Go регистрирует обработчики под /debug/pprof/, которые отдают профили CPU за запрошенное число секунд, а также профили кучи, горутин, блокировок и мьютексов), SDK, которые отправляют профили изнутри процесса, и eBPF-агенты, профилирующие все процессы на хосте без изменений в самом приложении.

Почему это важно

Разовый профиль отвечает на вопрос «куда сейчас уходит время». Непрерывное хранилище отвечает на вопросы, которые возникают в эксплуатации: что изменилось между версией, развёрнутой вчера, и сегодняшней; какая функция суммарно по всем инстансам потребляет больше всего CPU; почему память растёт в течение недели; что делал процесс в 03:12, когда выросла задержка. На эти вопросы невозможно ответить, сняв профиль постфактум.

Как применять

• Начните с профилей CPU и аллокаций для сервисов, которые вносят основной вклад в расходы или задержку; добавляйте профили мьютексов и блокировок при подозрении на конкуренцию за ресурсы (в Go они отдаются только после вызова runtime.SetBlockProfileRate или runtime.SetMutexProfileFraction).
• Размечайте профили сервисом, версией и инстансом, чтобы две версии можно было сравнить как разницу двух flame-графов.
• Привязывайте рантайм-эндпоинты профилирования к localhost или приватному порту; в примере для Go они отдаются на localhost:6060, а сборщик метрик достаёт их через приватную сеть.
• Держите срок хранения «сырых» профилей коротким и полагайтесь на агрегированные серии для анализа трендов.
• Перед включением на весь парк серверов проверьте накладные расходы на копии в staging под реалистичной нагрузкой и зафиксируйте результат измерения вместе с выкаткой.
• Связывайте временное окно оповещения о задержке с профилем за то же самое окно.

Подводные камни

Эндпоинты профилирования, открытые наружу, раскрывают структуру кода и позволяют кому угодно запускать дорогостоящий сбор профилей. Урезанные (stripped) бинарники или отсутствующие frame pointers дают стеки без имён функций. Сэмплирующие профилировщики недопредставляют короткоживущие процессы и единичные редкие события; они показывают, куда уходит время в среднем, а не почему был медленным конкретный запрос, — это вопрос уже к трассировке.