Доверительные интервалы в общих чертах: что говорит интервал и чего он не говорит

Что это такое

Справочник NIST/SEMATECH описывает доверительный интервал как нижнюю и верхнюю границы величины, например среднего, вычисленные по выборке; чем уже интервал, тем точнее оценка. Для среднего примерно нормально распределённых данных границы равны выборочному среднему плюс и минус квантиль t-распределения, умноженный на выборочное стандартное отклонение и делённый на квадратный корень из N, поэтому большая выборка сужает интервал, а больший разброс расширяет его. Справочник прямо указывает, что 95%-й интервал не означает 95%-ю вероятность того, что он содержит истинное среднее: интервал, вычисленный по конкретной выборке, либо содержит истинное значение, либо нет, а доверительный уровень относится к методу вычисления интервала, то есть к доле выборок, чьи интервалы охватывали бы истину. Гринленд и соавторы включают утверждение «конкретный 95%-й доверительный интервал, представленный в исследовании, с вероятностью 95% содержит истинный размер эффекта» в число 25 распространённых ошибочных интерпретаций и рекомендуют сместить внимание с нулевой гипотезы на весь диапазон размеров эффекта, совместимых с данными в рамках используемой модели.

Почему это важно

Точечная оценка создаёт ложное впечатление точности. «Конверсия выросла на 2.1%» и «конверсия изменилась на 2.1 процентного пункта, 95%-й интервал от −1.5 до +5.7» — разные сообщения: второе показывает, что снижение совместимо с данными. Интервалы позволяют читателю увидеть, отличима ли разность от нуля и может ли она быть большой.

Как применять

• Указывайте оценку, интервал, уровень и число наблюдений вместе: «задержка p95 — 410 мс (95%-й ДИ 380–450, n = 2 000)».
• Выбирайте метод под статистику: интервалы на основе t-распределения для средних примерно симметричных данных, бутстрэп-интервалы для медиан, процентилей, отношений и разностей.
• При сравнении двух вариантов вычисляйте интервал разности. Гринленд и соавторы называют утверждение «если два доверительных интервала перекрываются, разность незначима» ошибочной интерпретацией: перекрывающиеся интервалы всё же могут соответствовать явно ненулевой разности.
• Используйте ширину для планирования: чтобы уменьшить её вдвое, нужно примерно вчетверо больше данных (арифметическое следствие члена с квадратным корнем из N).
• Укажите предположения: независимые наблюдения, заранее заданный размер выборки, отсутствие выбора лучшего из множества вариантов.

Подводные камни

Считать интервал, исключающий ноль, доказательством, а включающий ноль — «отсутствием эффекта». Интервалы по последовательным отсчётам временного ряда, коррелирующим между собой, получаются слишком узкими. Интервал, вычисленный после выбора лучшего из двадцати вариантов, не является 95%-м интервалом для этого варианта.