중앙값, 백분위수, 비율에 대한 신뢰구간을 부트스트랩으로 구하기

목표

표준오차를 구하는 간단한 공식이 없는 통계량, 예를 들어 지연 시간의 중앙값, p95, 두 카운트의 비율, 또는 변형(variant) 간 이런 통계량들의 차이에 대해 정직한 불확실성을 부여합니다.

전제 조건

(일별 평균이 아니라) 서로 독립적으로 수집된 원본 관측값, 정의된 통계량, 그리고 SciPy나 난수 생성기를 갖춘 임의의 언어. NIST/SEMATECH 핸드북은 이 절차를 다음과 같이 설명합니다: 데이터로부터 복원추출로(데이터 집합 크기까지) 부표본을 생성하고, 각각에 대해 통계량을 계산한 뒤, 그 결과값들을 해당 통계량의 표집분포에 대한 추정치로 사용합니다. 통상 500~1,000개의 부표본을 권장합니다. SciPy의 bootstrap은 각 재표본을 원래 표본과 같은 크기로 뽑습니다.

단계

1. 원본 값을 배열로 불러옵니다. 개수를 확인하고 히스토그램을 살펴봅니다. 부트스트랩은 주어진 데이터만을 반영할 수 있기 때문입니다.
2. 통계량을 배열에 대한 함수로 정의합니다: np.median, 백분위수, 또는 비율.
3. 재표본추출을 실행합니다. SciPy에서는 res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0)로 실행하고 res.confidence_interval을 읽습니다. 문서는 구간 계산 방법 세 가지를 소개합니다: 가장 직관적이지만 실무에서는 잘 쓰이지 않는다고 설명하는 'percentile', 'basic'(역백분위수), 그리고 기본값인 'BCa'(편의보정 가속법).
4. 비교를 하려면 차이를 부트스트랩합니다: 두 표본과, statistic(a) − statistic(b)를 반환하는 통계 함수를 함께 전달합니다. 관측값이 쌍을 이루는 경우(같은 입력이 두 변형에 모두 적용된 경우)에는 paired=True를 설정합니다.
5. 점 추정값, 구간, 신뢰수준, 방법, 재표본 횟수, 시드, 표본 크기를 함께 보고합니다: "p95 412ms, 95% BCa 구간 380~455ms, n = 1,200, 재표본 9,999회".
6. 구간의 의미를 문서의 설명에 비추어 확인합니다: 데이터를 같은 분포에서 여러 번 무작위로 뽑는다면, 그 구간은 신뢰수준에 해당하는 비율만큼의 경우에 통계량의 참값을 포함하게 됩니다. 이는 이 구간 하나가 아니라 절차 자체에 대한 진술입니다.

기대 결과

소표본과 치우친 데이터에서는 정직하게 넓어지는 구간을 얻게 되며, "p95가 8ms 개선되었다"는 주장이 실제로 근거가 있는지, 아니면 잡음일 뿐인지가 눈에 보이게 됩니다.

한계와 검증 근거

부트스트랩은 관측값이 독립이라고 가정합니다. 자기상관이 있는 시계열에는 블록 부트스트랩이 필요합니다. 소표본의 극단적인 백분위수는 몇 개의 점에만 의존하며(200개 관측값의 p99는 상위 두 개 값에만 산술적으로 의존합니다), 재표본추출은 존재하지 않는 꼬리 부분을 만들어 낼 수 없습니다. 드물게 매우 큰 값이 나오는 두꺼운 꼬리 분포는 평균에 대해 불안정한 구간을 만듭니다. 인용된 문서에 근거한 것이며, 어떠한 실측 결과도 주장하지 않습니다.