Confident Learning: auditoría de la calidad de las etiquetas mediante revisión dirigida

Definición

Confident Learning es un marco para identificar etiquetas de clasificación ruidosas y aprender a pesar de ellas. Estima las relaciones entre las etiquetas observadas y las etiquetas subyacentes desconocidas, mediante una formulación de ruido condicionado por clase. En un flujo de auditoría, su resultado sirve para priorizar los ejemplos que se van a inspeccionar; un ejemplo marcado no es automáticamente un error de anotación verificado. [1]

Cómo funciona

Un detector combina la etiqueta registrada de cada ejemplo con las probabilidades que el modelo predice para cada clase. Confident Learning usa umbrales de confianza específicos de cada clase para estimar las confusiones probables entre etiquetas e identificar los ejemplos sospechosos. Sus garantías teóricas dependen de supuestos explícitos.

Cleanlab recomienda usar probabilidades fuera de muestra, que suelen generarse mediante validación cruzada, y puede devolver los problemas ordenados según puntuaciones de calidad de etiqueta. Las columnas de probabilidad deben seguir el mismo orden de clases que las etiquetas codificadas. Las predicciones dentro de la muestra pueden ocultar errores que el modelo ha memorizado. [2]

Flujo de trabajo práctico

1. Versiona el conjunto de datos, las definiciones de las etiquetas y la correspondencia entre clases y columnas.
2. Genera las probabilidades sin entrenar con el ejemplo que se está puntuando; al dividir los datos, respeta los grupos de entidades y las restricciones temporales.
3. Ordena los candidatos a error y fija un presupuesto de revisión, incluyendo algunos ejemplos no marcados como punto de comparación.
4. Pide a los revisores que apliquen las reglas de anotación y que registren la etiqueta original, la decisión, la etiqueta corregida (si la hay) y el motivo.
5. Reentrena solo después de documentar los cambios aceptados; evalúa con un conjunto de prueba gestionado por separado.

Conserva los ejemplos ambiguos y difíciles hasta que se resuelva su estado. Eliminar todos los casos en que el modelo discrepa puede borrar casos válidos.

Ejemplo ilustrativo

Ejemplo ilustrativo, no una auditoría medida: un ticket de soporte está etiquetado como facturación. Un modelo asigna probabilidades de 0,08 a facturación, 0,86 a acceso a la cuenta y 0,06 a defectos de software. El mensaje dice que el cliente no puede iniciar sesión para ver una factura.

Es un buen candidato para revisión, pero la etiqueta correcta depende de si la taxonomía atiende al obstáculo inmediato o al objetivo final del cliente. Un revisor puede corregir la etiqueta, mantenerla o pedir una guía más clara. Revisar los cincuenta tickets mejor clasificados es una decisión de carga de trabajo, no una afirmación de que el detector haya encontrado cincuenta errores reales.

Limitaciones y evaluación

La debilidad del modelo, el solapamiento entre clases y los casos válidos poco frecuentes pueden provocar desacuerdos. Los supuestos de ruido condicionado por clase pueden no cumplirse cuando los errores dependen fuertemente de la entrada dentro de cada clase. [1]

Informa de cuántos candidatos se revisaron, confirmaron, rechazaron o quedaron como ambiguos. Una muestra revisada que proceda solo de los problemas mejor clasificados no permite establecer la tasa de error de todo el conjunto de datos. Mantén trazables las correcciones de etiquetas y no limpies un benchmark repetidamente para favorecer al modelo evaluado. No se afirma que se haya realizado ninguna auditoría de etiquetas ni experimento de entrenamiento propio.

Fuentes

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering