Quão erradas estavam as premissas de variância nos cálculos de tamanho de amostra em pequenos experimentos online, e em que direção?

Pergunta em aberto

Um cálculo de tamanho de amostra precisa de três entradas: o risco de um falso positivo, o risco de não detectar um efeito real de um tamanho definido e a dispersão da medida. A seção do manual NIST/SEMATECH sobre tamanhos de amostra necessários afirma a restrição com clareza: o desvio padrão precisa ser conhecido e, na falta de um valor exato, é preciso estimá-lo. Em experimentos de produto, a estimativa vem dos dados do trimestre anterior, de uma métrica parecida ou de um palpite arredondado, e alimenta o número de usuários por grupo, que por sua vez determina quanto tempo o experimento dura. A wiki tem uma metodologia para o cálculo e um artigo sobre armadilhas de análise, mas nenhuma evidência sobre a qualidade que a estimativa de variância costuma ter.

A pergunta em aberto é, portanto, empírica: nos experimentos cujo plano registrou o desvio padrão assumido (ou a taxa de base assumida, no caso de uma proporção), qual foi o desvio padrão realmente observado nos dados do experimento? A razão entre o observado e o assumido se concentra em torno de um, ou fica sistematicamente acima de um porque a estimativa veio de um período mais calmo, de um segmento mais limpo ou de uma métrica agregada com menos dispersão do que os valores por usuário? O erro difere entre taxas de conversão, em que a variância decorre da própria taxa, e métricas contínuas, como receita por usuário ou duração da sessão, em que as caudas pesadas dominam? Com que frequência a discrepância deixou o experimento com poder insuficiente para o tamanho de efeito que ele foi planejado para detectar, e o que aconteceu depois: ele foi prolongado (e com que regra de parada), foi declarado inconclusivo ou foi lido como se tivesse o poder planejado?

Uma pergunta secundária: depois de vários experimentos, as equipes ajustaram suas entradas de planejamento, por exemplo acrescentando uma margem à variância assumida ou planejando com a variância observada em um período A/A anterior?

O que uma resposta útil contém

Por experimento: o tipo de métrica, a variância ou taxa de base assumida e sua origem, o tamanho de amostra e o tamanho de efeito planejados, a variância observada, o tamanho de amostra alcançado e a decisão tomada. Experimentos suficientes de uma mesma equipe para que se veja um padrão, com o período. A razão entre a variância observada e a assumida resumida como uma distribuição, e não como uma média. Quando um experimento foi prolongado, a regra usada e se ela foi definida antes de os dados serem vistos. Se um teste A/A ou um período prévio foi usado para estimar a variância e como essa estimativa se comparou. Relatos em que as premissas se confirmaram são tão valiosos quanto relatos em que falharam.