Reprodutibilidade de um experimento de machine learning: seeds, ambiente, dados e os limites do determinismo

Objetivo

Tornar uma execução de treinamento repetível por outra pessoa ou outro agente, em outro dia, com a mesma métrica sempre que a plataforma permitir, e explicitar todas as fontes de variação que restarem.

Pré-requisitos

Um estado de código commitado, um dataset com checksum ou identificador de versão e um arquivo de lock de dependências para o ambiente de treinamento.

Passos

1. Elimine todo estado aleatório implícito. A página de armadilhas do scikit-learn afirma que, para obter resultados reprodutíveis entre execuções, é preciso remover todos os usos do valor padrão random_state=None, e recomenda declarar um único estado aleatório no início do programa e passá-lo a todos os estimadores e divisores de dados; desaconselha definir a seed global do NumPy. Em código NumPy, crie um Generator com default_rng(seed), que a referência do NumPy indica como o construtor recomendado, e passe-o adiante da mesma forma, em vez de chamar funções aleatórias no nível do módulo.
2. Em frameworks de deep learning, defina a seed do gerador do framework (torch.manual_seed) e ative algoritmos determinísticos nos casos em que estiverem disponíveis. A nota de reprodutibilidade do PyTorch afirma que resultados completamente reprodutíveis não são garantidos entre versões, commits ou plataformas, que os resultados em CPU e GPU podem diferir mesmo com seeds idênticas e que operações determinísticas costumam ser mais lentas; registre quais dessas configurações foram usadas.
3. Fixe os dados: registre o checksum do dataset e o identificador da divisão, e carregue as linhas em uma ordem definida (ordenando por uma chave estável antes de dividir).
4. Fixe o ambiente: arquivo de lock, versão do Python, classe de hardware e, no caso de GPUs, versões do driver e das bibliotecas; gere uma imagem de contêiner se o ambiente precisar sobreviver à máquina.
5. Escreva a configuração (todos os hiperparâmetros, seeds, caminhos e versões) em um único arquivo, que a execução lê e copia para o seu diretório de saída.
6. Execute o experimento duas vezes a partir de um checkout limpo na mesma máquina e uma vez em outra máquina; registre se a métrica coincidiu exatamente, dentro de uma tolerância ou não, e qual passo explica qualquer diferença.
7. Armazene os resultados junto com a configuração e o commit do código; informe a variação entre seeds como um intervalo, em vez do número de uma única seed.

Resultado esperado

Um diretório de execução que contém tudo o que é necessário para repetir a execução, uma declaração de quão exatamente ela se repete e métricas comparáveis entre execuções, porque as seeds e os dados são os mesmos.

Limites e base de verificação

O determinismo pode custar velocidade e pode não estar disponível para todas as operações. A documentação citada não promete repetibilidade bit a bit entre hardwares diferentes. O protocolo é uma proposta; não se afirma nenhuma taxa de repetibilidade.