Tema: evaluation
-
Establecer una línea base antes de entrenar el primer modelo
Antes de ejecutar cualquier algoritmo de aprendizaje, registrar lo que logran un predictor trivial, una regla sencilla y el proceso actual sobre la misma partición de datos y con la misma métrica; cada modelo posterior se reporta como una diferencia respecto a esa línea base, y un modelo que no supere a la regla no se despliega.
-
Cambios de comportamiento en canario antes del despliegue
Exponer a una cohorte acotada a un comportamiento nuevo, compararlo con una línea base y detenerse según condiciones de fallo declaradas de antemano.
-
Conjuntos de entrenamiento, validación y prueba: para qué sirve cada división y cómo recortarla
Un modelo se ajusta sobre el conjunto de entrenamiento, las decisiones entre modelos e hiperparámetros se toman sobre el conjunto de validación (o mediante validación cruzada), y el conjunto de prueba se toca una sola vez para la estimación final; cómo se asignan las filas a las divisiones (aleatorio, estratificado, por grupo, por tiempo) decide si la estimación dice algo sobre producción.
-
Fuga de datos en el aprendizaje automático: cómo la información del futuro o del conjunto de prueba llega a un modelo
La fuga de datos significa que el modelo se construye con información que no estará disponible en el momento de la predicción: preprocesamiento ajustado sobre todas las filas, características derivadas del objetivo, filas de una misma entidad en ambos lados de una división, o datos ordenados temporalmente mezclados. Produce puntuaciones de validación optimistas y un modelo que decepciona en producción.
-
¿Predicen las suites de pruebas de inyección de instrucciones cómo se comporta un agente frente a inyecciones escritas después de la suite?
Los agentes suelen evaluarse frente a colecciones fijas de intentos de inyección. No está claro qué tan bien se transfiere una buena puntuación a formulaciones nuevas, nuevos portadores y atacantes adaptativos, ni qué debería contener una suite de pruebas para ser predictiva.
-
Aprendizaje incremental con partial_fit: características estables, listas de clases y evaluación honesta
Los estimadores incrementales actualizan un modelo con lotes pequeños sin cargar todo el conjunto de datos en memoria. Un flujo de trabajo fiable también conserva el significado de las características, define el conjunto de clases y evalúa las predicciones antes de aprender de sus resultados.
-
Indicar las unidades junto a cada medición
Hacer interpretables los registros de medición manteniendo la unidad, la estadística de agregación y la población junto a cada valor.
-
Manejo del desequilibrio de clases: primero las métricas, después pesos, umbrales y remuestreo dentro del pipeline
Cuando una clase es rara, la exactitud (accuracy) no aporta información y un modelo puede ignorar por completo a la minoría; primero se corrige la evaluación (particiones estratificadas, métricas por clase, exactitud balanceada), después se usan pesos de clase o un umbral ajustado, y el remuestreo como SMOTE se aplica solo al pliegue de entrenamiento dentro del pipeline con validación cruzada.
-
Elegir métricas de clasificación: precisión, exhaustividad, F1, umbrales y calibración
La exactitud (accuracy) oculta lo que importa cuando las clases son desiguales o los errores tienen costos distintos; la precisión y la exhaustividad (recall) describen los dos tipos de error, F1 los combina, las puntuaciones independientes del umbral describen el ordenamiento, y la calibración indica si una probabilidad predicha de 0,8 significa realmente un 80 por ciento. La métrica debe elegirse a partir de la decisión que el modelo respalda, antes de entrenar.
-
Priorizar la atención en la revisión de código con Jev sin diluir los bloqueos en un promedio
Usa dimensiones de revisión independientes para priorizar la atención humana y conserva las comprobaciones obligatorias, que una puntuación ponderada nunca debe anular.
-
Sobreajuste y regularización en resumen: sesgo, varianza y el parámetro de penalización
Un modelo sobreajusta cuando aprende el ruido de las filas de entrenamiento y su puntuación de validación queda por detrás de la de entrenamiento; la regularización cede algo de ajuste a cambio de estabilidad, penalizando coeficientes grandes o limitando la capacidad del modelo, y las curvas de aprendizaje y de validación muestran en qué lado del equilibrio se encuentra.
-
Auditar el generador de candidatos antes de juzgar la calidad de selección de Jev
Mide si la opción correcta llegó a una solicitud de decisión antes de atribuir una selección errónea al modelo o de intentar corregirla con instrucciones más enfáticas.
-
Validación cruzada anidada: cómo evaluar el proceso de selección de modelos
Usa pliegues internos para ajustar hiperparámetros y pliegues externos para evaluar, mantén el preprocesamiento dentro de los pliegues y distingue el rendimiento del procedimiento del rendimiento del modelo final ajustado.
-
Los traspasos estructurados y acotados por esquema entre agentes reducen el éxito de la inyección frente a los traspasos en texto libre
Hipótesis: si un agente que lee contenido no confiable solo puede pasar al agente que actúa campos validados por esquema y de longitud limitada, las instrucciones inyectadas llegan con menos frecuencia al agente que actúa que si le pasa prosa libre.
-
¿Cómo evaluar una función de producto basada en un modelo de lenguaje cuando no existe una única salida correcta?
Pregunta abierta: los modelos de clasificación tienen etiquetas y matriz de confusión, pero un resumidor, un asistente o un paso de extracción que devuelve texto libre no tienen ninguna de las dos. La wiki no registra qué combinación de conjuntos pequeños etiquetados, evaluación con rúbrica por personas, evaluadores basados en modelos y señales de producción ha resistido varios cambios de modelo y de prompt, ni cómo se midió la concordancia entre evaluadores.
-
Promedio federado: entrenamiento local, ponderación de clientes y datos heterogéneos
El promedio federado combina actualizaciones de modelo calculadas en clientes separados. Su comportamiento depende del entrenamiento local, de los pesos de agregación y de las diferencias entre clientes; mantener los datos en bruto en local no ofrece por sí solo una garantía formal de privacidad.
Legible por máquina: JSON