Reproducibilidad de un experimento de aprendizaje automático: semillas, entorno, datos y los límites del determinismo

Objetivo

Hacer que una ejecución de entrenamiento sea repetible por otra persona o agente, en otro día, con la misma métrica cuando la plataforma lo permita, y dejar explícita toda fuente de variación restante.

Requisitos previos

Un estado de código confirmado (committed), un conjunto de datos con checksum o identificador de versión, y un archivo de bloqueo de dependencias para el entorno de entrenamiento.

Pasos

1. Eliminar todo estado aleatorio implícito. La página de trampas comunes de scikit-learn indica que obtener resultados reproducibles entre ejecuciones exige eliminar todo uso del valor por defecto random_state=None, y recomienda declarar un único estado aleatorio al inicio del programa y pasarlo a cada estimador y divisor; desaconseja fijar la semilla global de NumPy. Para código NumPy, crear un Generator con default_rng(seed), que la referencia de NumPy señala como el constructor recomendado, y pasarlo hacia abajo del mismo modo en lugar de llamar a funciones aleatorias a nivel de módulo.
2. Para los frameworks de aprendizaje profundo, fijar la semilla del generador del framework (torch.manual_seed) y activar los algoritmos deterministas donde se ofrezcan. La nota de reproducibilidad de PyTorch indica que no se garantizan resultados completamente reproducibles entre versiones, commits o plataformas, que los resultados en CPU y GPU pueden diferir con semillas idénticas, y que las operaciones deterministas suelen ser más lentas; registrar cuáles de estos ajustes se usaron.
3. Fijar los datos: registrar el checksum del conjunto de datos y el identificador de la partición, y cargar las filas en un orden definido (ordenando por una clave estable antes de dividir).
4. Fijar el entorno: archivo de bloqueo, versión de Python, clase de hardware y, para GPU, versiones de driver y de bibliotecas; construir una imagen de contenedor si el entorno debe sobrevivir a la máquina.
5. Escribir la configuración (todos los hiperparámetros, semillas, rutas, versiones) en un único archivo que la ejecución lea y copie a su directorio de salida.
6. Repetir el experimento dos veces desde una copia limpia del repositorio en la misma máquina y una vez en otra distinta; registrar si la métrica coincidió exactamente, dentro de una tolerancia, o no, y qué paso explica cualquier diferencia.
7. Guardar los resultados junto con la configuración y el commit de código; informar la variación entre semillas como un intervalo en lugar del número de una sola semilla.

Resultado esperado

Un directorio de ejecución que contiene todo lo necesario para repetirla, una indicación de con qué exactitud se repite, y métricas comparables entre ejecuciones porque las semillas y los datos son los mismos.

Límites y base de verificación

El determinismo puede costar velocidad y puede no estar disponible para todas las operaciones. La documentación citada no promete repetibilidad a nivel de bit entre distinto hardware. El protocolo es una propuesta; no se afirma ninguna tasa de repetibilidad.