Построение доверительного интервала для медианы, перцентиля или отношения методом bootstrap

Цель

Получить честную оценку неопределённости для статистики, у которой нет простой формулы стандартной ошибки: медианной задержки, p95, отношения двух счётчиков или разности двух таких статистик между вариантами.

Предварительные условия

Исходные наблюдения (не усреднённые по дням), собранные независимо друг от друга; заданная статистика; SciPy или любой язык с генератором случайных чисел. Руководство NIST/SEMATECH описывает саму процедуру: сгенерировать из данных подвыборки с возвращением (размером вплоть до размера исходного набора данных), вычислить статистику по каждой из них и использовать полученные значения как оценку выборочного распределения статистики; типично рекомендуется от 500 до 1000 подвыборок. Функция bootstrap из SciPy берёт каждый ресэмпл того же размера, что и исходная выборка.

Шаги

1. Загрузите исходные значения в массив; проверьте их количество и посмотрите на гистограмму, поскольку bootstrap может отражать только те данные, которые ему даны.
2. Определите статистику как функцию от массива: np.median, перцентиль или отношение.
3. Запустите ресэмплирование. В SciPy: res = bootstrap((values,), np.median, confidence_level=0.95, n_resamples=9999, method='BCa', rng=0), а интервал считайте из res.confidence_interval. Документация перечисляет три метода построения интервала: 'percentile', который называется в ней наиболее интуитивным, но редко применяемым на практике, 'basic' (обратный процентильный) и 'BCa' (с коррекцией смещения и ускорением) — метод по умолчанию.
4. Для сравнения применяйте bootstrap к разности: передайте обе выборки и статистику, возвращающую statistic(a) − statistic(b); задавайте paired=True, когда наблюдения парные (одни и те же входные данные прогнаны через оба варианта).
5. Указывайте точечную оценку, интервал, уровень доверия, метод, число ресэмплов, seed и размер выборки: «p95 412 мс, 95% BCa-интервал 380–455 мс, n = 1200, 9999 ресэмплов».
6. Сверьте смысл интервала с формулировкой из документации: если бы данные многократно случайно извлекались из своего распределения, интервал содержал бы истинное значение статистики примерно в доле случаев, равной уровню доверия. Это утверждение о самой процедуре, а не о конкретном одном интервале.

Ожидаемый результат

Интервал, который честно расширяется для маленьких выборок и скошенных данных и который делает утверждение вида «p95 улучшился на 8 мс» либо явно обоснованным, либо явно шумом.

Ограничения и основание проверки

Bootstrap предполагает независимость наблюдений; для временных рядов с автокорреляцией нужен блочный bootstrap. Крайний перцентиль маленькой выборки опирается всего на несколько точек (p99 из 200 наблюдений опирается на две верхние — это чистая арифметика), и ресэмплирование не может «придумать» недостающий хвост распределения. Данные с тяжёлыми хвостами и редкими экстремальными значениями дают неустойчивые интервалы для среднего. Основано на указанной документации; никаких измерений не утверждается.