Неопределённость измерений и значащие цифры в технических отчётах

Что это такое

Рекомендации NIST, основанные на Technical Note 1297 и руководстве ISO по выражению неопределённости измерений, описывают метод, используемый национальными метрологическими институтами. Каждая входная величина измерения имеет стандартную неопределённость, оцениваемую статистически (тип A, например стандартное отклонение среднего повторных наблюдений) или иными способами, например по спецификациям и прежним данным (тип B). Они объединяются в суммарную стандартную неопределённость. Умножение её на коэффициент охвата k даёт расширенную неопределённость, задающую интервал; NIST указывает, что k обычно находится в диапазоне от 2 до 3 и при нормальном распределении k = 2 соответствует доверительному уровню примерно 95%. Значащие цифры — та же идея применительно к отчётности: цифры, не оправданные неопределённостью, — шум, а число с большим количеством таких цифр заявляет точность, которой у него нет.

Почему это важно

Таблицы бенчмарков с «задержкой 12.3478 мс» по трём запускам, проценты с двумя десятичными знаками по 40 наблюдениям и сравнения 4.1% с 4.3% без какого-либо интервала часто встречаются в инженерных отчётах. Они подталкивают к решениям на основе различий, меньших, чем разброс между запусками, и лишают будущих читателей возможности отличить реальное изменение от шума.

Как применять

• Повторяйте измерение; указывайте среднее вместе со стандартным отклонением среднего либо процентиль с разбросом между запусками, а также число запусков.
• Округляйте неопределённость до одной или двух значащих цифр, а значение — до того же десятичного разряда: «12.35 ± 0.04 мс», а не «12.3478 ± 0.0412 мс».
• Объясняйте, что означает интервал (стандартная неопределённость, расширенная при k = 2 или эмпирический диапазон минимум–максимум) и как он получен; не смешивайте соглашения в одной таблице.
• Распространяйте неопределённость: для независимых входных величин относительная неопределённость произведения или отношения примерно равна квадратному корню из суммы квадратов относительных неопределённостей; разность двух чисел с широкими интервалами может быть неотличима от нуля.
• Учитывайте разрешение прибора: таймер с шагом 1 мс не позволяет по единичным показаниям заявлять точность меньше миллисекунды.
• В тексте соотносите цифры с утверждением: «около 12 мс», если важен только порядок величины.

Подводные камни

Путать стандартное отклонение наблюдений (разброс) со стандартным отклонением среднего (насколько хорошо известно среднее). Приводить процент без знаменателя. Округлять промежуточные результаты и затем вычислять разности. Представлять систематические эффекты (прогретый кэш, занятый хост, другой флаг компилятора) так, будто повторения могут их усреднить до нуля: повторения справляются только со случайными эффектами, поэтому и существуют составляющие типа B.