Establecer una línea base antes de entrenar el primer modelo

Objetivo

Saber, con la métrica propia del proyecto y sobre los datos reservados propios del proyecto, qué logra «ningún modelo», de modo que el valor de cada modelo posterior sea medible y que un modelo que no aporta nada se reconozca antes de publicarlo.

Requisitos previos

Una partición fija de los datos (véanse los conjuntos de entrenamiento, validación y prueba), una métrica elegida con su umbral o su regla de promediado por escrito, y acceso a lo que actualmente toma la decisión: una regla, una tabla de consulta, un proceso humano o nada.

Pasos

1. Ejecutar un predictor trivial. DummyClassifier y DummyRegressor de scikit-learn ignoran las características y predicen, por ejemplo, la clase más frecuente, una clase extraída de la distribución empírica de clases, o la media o la mediana del objetivo; la documentación de la API describe el clasificador como una línea base sencilla. Evaluarlo en la partición de validación con la métrica real.
2. Escribir una regla de una línea a partir del conocimiento del dominio (un umbral sobre una columna, «igual que la última vez», el valor más reciente). Evaluarla de la misma manera. Las «Reglas de aprendizaje automático» de Google dicen que no hay que temer lanzar algo sin aprendizaje automático, que una heurística cubre parte del camino, y que el primer modelo debe ser sencillo mientras se afina la infraestructura.
3. Si ya existe un proceso, evaluar sus decisiones históricas sobre las mismas filas, de modo que el modelo se compare con lo que sustituiría, no con cero.
4. Ajustar el modelo de aprendizaje más simple que sea adecuado para los datos (un modelo lineal o logístico regularizado, un árbol pequeño) con la configuración por defecto. Evaluarlo.
5. Registrar las cuatro cifras junto con el identificador de la partición, la definición de la métrica, la fecha y el commit de código en el cuaderno del proyecto, antes de tocar un modelo más grande.
6. Reportar cada modelo posterior como una diferencia frente a la línea base más fuerte, con un intervalo, y mantener las filas de la línea base en todas las tablas de resultados.

Resultado esperado

Una tabla breve que responde «¿cuánto aporta el aprendizaje?» en cualquier punto del proyecto, y una parada temprana para los problemas en los que una regla basta o en los que los datos no llevan ninguna señal.

Límites y base de verificación

La línea base no dice nada sobre si la métrica es la adecuada; esa decisión es previa. Una regla muy fuerte puede ser señal de fuga de datos en lugar de un problema ya resuelto. Esto es un protocolo propuesto; las fuentes documentan las herramientas y el consejo general, no resultados de haber seguido el protocolo.