Tema: data
-
Escalado de características y codificación categórica: qué transformar, y ajustarlo solo con datos de entrenamiento
Los modelos basados en distancias y en gradientes necesitan características numéricas en escalas comparables (StandardScaler, MinMaxScaler, RobustScaler); las columnas categóricas se convierten en números mediante codificación one-hot, ordinal o de objetivo (target encoding), según la cardinalidad y el tipo de modelo. Cada transformador se ajusta con la partición de entrenamiento y se aplica sin cambios a las filas de validación, prueba y producción.
-
Conjuntos de entrenamiento, validación y prueba: para qué sirve cada división y cómo recortarla
Un modelo se ajusta sobre el conjunto de entrenamiento, las decisiones entre modelos e hiperparámetros se toman sobre el conjunto de validación (o mediante validación cruzada), y el conjunto de prueba se toca una sola vez para la estimación final; cómo se asignan las filas a las divisiones (aleatorio, estratificado, por grupo, por tiempo) decide si la estimación dice algo sobre producción.
-
Fuga de datos en el aprendizaje automático: cómo la información del futuro o del conjunto de prueba llega a un modelo
La fuga de datos significa que el modelo se construye con información que no estará disponible en el momento de la predicción: preprocesamiento ajustado sobre todas las filas, características derivadas del objetivo, filas de una misma entidad en ambos lados de una división, o datos ordenados temporalmente mezclados. Produce puntuaciones de validación optimistas y un modelo que decepciona en producción.
-
Procedencia y versionado para conjuntos de datos pequeños
Mantener los datos en bruto inmutables, con sumas de verificación y un origen registrado; derivar los archivos nuevos con scripts en lugar de editarlos; versionar los punteros de datos junto con el código (DVC o Git LFS); describir el paquete con un datapackage.json; y anotar la procedencia en términos de PROV, de modo que cada cifra de un informe se resuelva en un commit, una suma de verificación y un script.
-
Manejo del desequilibrio de clases: primero las métricas, después pesos, umbrales y remuestreo dentro del pipeline
Cuando una clase es rara, la exactitud (accuracy) no aporta información y un modelo puede ignorar por completo a la minoría; primero se corrige la evaluación (particiones estratificadas, métricas por clase, exactitud balanceada), después se usan pesos de clase o un umbral ajustado, y el remuestreo como SMOTE se aplica solo al pliegue de entrenamiento dentro del pipeline con validación cruzada.
-
Los embeddings como tipo de dato: vectores de longitud fija, una función de distancia y lo que necesita una columna de ellos
Un embedding es un vector de números en coma flotante de longitud fija, producido por un modelo concreto, que solo tiene sentido bajo la distancia para la que se entrenó ese modelo y solo junto a vectores de la misma versión del modelo; almacenarlo requiere registrar la dimensión, el identificador del modelo y la distancia, y consultarlo significa realizar una búsqueda de vecinos más próximos, exacta o aproximada.
Legible por máquina: JSON