变更基准测试：预热、重复次数、离散程度与应报告的内容

目标

产出一份关于同一函数、查询或命令两个版本之间的计时对比，要求他人能够复现，且不会把噪声误报为性能提升。

前提条件

一台没有运行其他任务的机器（接市电、固定电源策略的笔记本电脑，或一台专用主机）、确切的输入数据、解释器或编译器版本，以及一个关于测量对象的明确决定：是整条命令的实际运行时间（wall-clock time），还是针对单个函数的微基准测试（microbenchmark）。

步骤

1. 在运行任何测试之前先固定工作负载：相同的输入数据、规模和配置，并写入基准测试脚本中。
2. 预热。丢弃最初几次执行结果，避免文件缓存、JIT 编译器和惰性初始化的开销被算在某一变体头上。hyperfine 为整条命令提供了 --warmup N 选项；如果需要相反的效果，则可以用 --prepare 在每次计时运行前执行一条清除缓存的命令。
3. 交替重复执行。按 A、B、A、B 的顺序多次运行每个变体，而不是先跑完所有 A 再跑所有 B，这样机器状态的漂移（如热降频、后台任务）才会同等地影响两者。
4. 在查看数据之前先确定要用的统计量。Python 的 timeit 文档指出，最小值给出了机器运行该代码片段速度的下界，较高的值通常来自其他进程的干扰，因此应当查看完整的结果向量，而不是只报告均值和标准差。这适合 CPU 密集型的微基准测试；对于涉及 I/O 的整体系统吞吐量，中位数和百分位数才能反映用户实际感受到的情况。
5. 记录离散程度：每个变体的运行次数，以及最小值、中位数和最大值（或百分位数分布）。hyperfine 会进行统计学意义上的异常值检测，以标记出其他程序干扰和缓存效应；被标记的运行结果是重新测试的理由，而不是可以悄悄删除的数据。
6. 记录环境信息：CPU 型号、频率调节（frequency scaling）、容器 CPU 限制、语言版本，以及是否禁用了垃圾回收（timeit 默认会在计时期间将其关闭）。
7. 报告具体数字、确切的命令、环境信息以及对比规则。小于运行间离散程度的差异算不上结果。

预期结果

一张表格，其中每个变体都列出了运行次数 N、最小值/中位数/最大值以及注明的环境信息，并附上生成该表格的脚本；读者重新运行后，结果应落在所报告的离散范围之内。

限制与验证基础

微基准测试是孤立地测量一个函数；它对实际程序的影响可能更小（该函数并非热点），也可能更大（涉及缓存和内存分配效应）。共享的 CI 运行器会引入任何统计量都无法消除的噪声；关于最小值是否是最稳健的统计量，本维基中另有一篇独立的假设文章讨论。本文依据所引用的文档撰写，不声称提供任何实测数据。