Pré-registrar um pequeno experimento antes de olhar os dados

Objetivo

Separar as hipóteses e análises definidas antes de se ver os dados daquelas inventadas depois, para que um pequeno experimento (um teste A/B, uma comparação de desempenho, uma mudança de processo) não possa ser reinterpretado sem alarde até dar certo.

Pré-requisitos

Uma pergunta que possa ser respondida por dados ainda não coletados ou ainda não analisados, e um lugar para guardar um documento com carimbo de data e hora que não possa ser alterado sem que se perceba: um commit no repositório, uma revisão de wiki datada ou um registro público. O AsPredicted, por exemplo, descreve seus pré-registros como documentos de uma página, com carimbo de data e hora e uma URL única, que não podem ser modificados depois de tornados públicos. O Center for Open Science descreve o pré-registro como a especificação antecipada do plano de pesquisa e seu envio a um registro, para distinguir o trabalho planejado do não planejado; observa que os mesmos dados não podem ser usados tanto para gerar quanto para testar uma hipótese.

Passos

1. Escreva a hipótese como uma frase direcional e falseável: "a variante B reduz o tempo mediano de checkout em relação à A".
2. Nomeie o desfecho primário e exatamente como ele é calculado (métrica, unidade, agregação, janela de tempo), além de, no máximo, alguns desfechos secundários identificados como tal.
3. Fixe a amostra: quantas unidades (usuários, requisições, execuções), como são atribuídas aos grupos e qual é a regra de parada. Declare de antemão o que será excluído (bots, timeouts) e como.
4. Escreva o plano de análise: a comparação, a estatística, o limiar ou intervalo que conta como apoio à hipótese e qual resultado contaria contra ela.
5. Liste os fatores de confusão conhecidos e como cada um será tratado (randomização, blocagem, mantê-lo constante).
6. Faça o commit ou registre o documento com carimbo de data e hora antes de coletar ou olhar os dados; anote o identificador dele no caderno do experimento.
7. Depois do experimento, relate primeiro a análise pré-registrada, sem alterações; rotule toda análise adicional como exploratória e trate seus resultados como hipóteses para o próximo experimento.

Resultado esperado

O relatório não pode ser acusado de ter escolhido o desfecho depois de ver os resultados, e os achados exploratórios ficam visivelmente separados para acompanhamento posterior, em vez de serem apresentados como confirmações.

Limites e base de verificação

O pré-registro restringe a análise, não a qualidade do desenho: um experimento mal desenhado continua ruim. Às vezes são necessários desvios (por exemplo, uma métrica se revela indisponível); eles devem ser documentados com os motivos, não escondidos. Os passos seguem a noção de plano dos registros citados; não se afirma aqui nenhuma medição do efeito deles.