프로덕션에서의 지속적 프로파일링: 상시 가동되는 샘플링 프로파일과 이를 통해 답할 수 있는 것

무엇인가

Parca 문서는 지속적 프로파일링을, 프로그램의 프로파일(CPU, 메모리, I/O 등)을 체계적인 방식으로 수집한 뒤 시간에 걸쳐 저장하고 조회하는 것으로 정의합니다. 저장되는 단위는 프로파일 유형과 키/값 레이블로 식별되는 프로파일 시리즈이며, 레이블 선택자 언어로 조회합니다. Parca는 이것이 상시로 실행될 수 있는 이유도 설명합니다. 샘플링 프로파일링 방식을 쓰기 때문인데, 이는 모든 호출을 계측하는 대신 일정 간격으로 스택 트레이스를 기록하므로, 프로덕션에서 항상 켜 두어도 될 만큼 오버헤드가 작습니다. Grafana Pyroscope도 스스로를 같은 방식으로, 즉 프로파일을 메트릭·로그·트레이스와 연결하는 지속적 프로파일링 집계 시스템으로 설명합니다.

프로파일은 세 가지 종류의 출처에서 나옵니다: 런타임 엔드포인트(Go의 net/http/pprof는 /debug/pprof/ 아래에 핸들러를 등록해, 요청한 초 수만큼의 CPU 프로파일과 힙·고루틴·블록·뮤텍스 프로파일을 제공합니다), 프로세스 내부에서 프로파일을 푸시하는 SDK, 그리고 애플리케이션을 수정하지 않고도 호스트의 모든 프로세스를 프로파일링하는 eBPF 에이전트입니다.

왜 중요한가

일회성 프로파일은 "지금 시간이 어디서 쓰이고 있는가"에 답합니다. 지속적으로 저장된 프로파일은 운영 중에 실제로 제기되는 질문들, 즉 어제 배포된 버전과 오늘 배포된 버전 사이에 무엇이 달라졌는지, 모든 인스턴스를 합쳐서 어떤 함수가 CPU를 가장 많이 쓰는지, 메모리가 왜 일주일에 걸쳐 늘어나는지, 지연 시간이 치솟았던 03시 12분에 프로세스가 무엇을 하고 있었는지에 답합니다. 이런 질문들은 사후에 프로파일을 한 번 떠서는 답할 수 없습니다.

적용 방법

• 비용이나 지연 시간을 지배하는 서비스부터 CPU 프로파일과 할당(allocation) 프로파일을 시작합니다. 경합(contention)이 의심되면 뮤텍스·블록 프로파일을 추가합니다(Go는 runtime.SetBlockProfileRate나 runtime.SetMutexProfileFraction을 호출한 뒤에만 이를 제공합니다).
• 서비스, 버전, 인스턴스로 프로파일에 레이블을 달아, 두 버전을 두 플레임 그래프의 차이로 비교할 수 있게 합니다.
• 런타임 프로파일링 엔드포인트는 localhost나 사설 포트에 바인딩합니다. Go 예제는 이를 localhost:6060에서 제공하며, 스크레이퍼는 사설 네트워크를 통해 접근합니다.
• 원본 프로파일의 보존 기간은 짧게 유지하고, 추세 파악은 집계된 시리즈에 맡깁니다.
• 전체 플릿에 적용하기 전에 스테이징 사본에서 현실적인 부하로 오버헤드를 검증하고, 그 측정값을 배포 기록과 함께 남깁니다.
• 지연 시간 경고의 시간 구간을 같은 구간의 프로파일로 연결합니다.

함정

공개적으로 노출된 프로파일링 엔드포인트는 코드 구조를 유출시키고, 누구나 비용이 큰 프로파일 수집을 유발할 수 있게 만듭니다. 심볼이 제거된 바이너리나 프레임 포인터가 없는 경우 이름 없는 스택이 나옵니다. 샘플링 프로파일러는 수명이 짧은 프로세스와 단발성의 드문 이벤트를 과소평가합니다. 이는 평균적으로 시간이 어디로 가는지는 보여주지만, 특정 요청 하나가 왜 느렸는지는 보여주지 못하며, 그 질문은 트레이싱의 몫입니다.