Aprendizaje activo basado en pool: muestreo por incertidumbre sin evaluación sesgada

Qué hace el aprendizaje activo basado en pool

El aprendizaje activo basado en pool (pool-based) decide a cuáles de los ejemplos sin etiquetar ya existentes se les asignará etiqueta a continuación. Parte de un conjunto semilla etiquetado y de un pool mayor sin etiquetar: se entrena un modelo, se seleccionan las consultas, se obtienen las etiquetas y se repite el ciclo. El objetivo es aprovechar bien el esfuerzo de anotación. No garantiza que se necesiten menos etiquetas en todas las tareas, y es distinto de generar consultas sintéticas o de asignar pseudoetiquetas de forma automática. [1]

Cómo funciona el muestreo por incertidumbre

Una estrategia por incertidumbre prioriza los ejemplos cuya etiqueta predicha es más incierta. En la clasificación probabilística binaria, las probabilidades cercanas a 0,5 son los candidatos típicos. En el caso multiclase, las alternativas incluyen una diferencia pequeña entre las dos probabilidades de clase más altas o una entropía predictiva elevada. Estos criterios no tienen por qué ordenar los ejemplos multiclase de la misma manera. [1]

La puntuación refleja el estado actual del modelo; no es un certificado objetivo de utilidad. Un modelo que se equivoca con mucha confianza puede pasar por alto regiones informativas, mientras que los ejemplos ambiguos o corruptos pueden seguir siendo inciertos incluso después de anotarlos. La selección por lotes también debe tener en cuenta la redundancia y la cobertura.

Un ciclo de anotación práctico

Antes de empezar la adquisición, reserva datos de validación y de prueba final que sean representativos y que la política de selección no pueda utilizar. Crea un conjunto semilla que cubra las clases y las condiciones de operación plausibles. Entrena el modelo, puntúa el pool elegible, selecciona un lote y haz que anotadores cualificados lo etiqueten según reglas documentadas. Retira del pool los ejemplos adquiridos, añade sus etiquetas al entrenamiento y repite. Registra los desacuerdos entre anotadores y las etiquetas no disponibles en lugar de convertirlos silenciosamente en ejemplos negativos. [1]

Mantén un registro del experimento con los identificadores seleccionados, las versiones del modelo, las puntuaciones de consulta, las semillas aleatorias, las revisiones de etiquetas y el esfuerzo de anotación. Usa la validación para elegir la estrategia y el presupuesto en el que detenerse.

Ejemplo ilustrativo de asignación

Supón que se dispone de 200 etiquetas semilla para clasificar solicitudes de soporte y que la siguiente ronda permite 50 anotaciones. Una política experimental podría asignar 40 a solicitudes inciertas y diversas, y 10 a solicitudes elegidas al azar. Esta combinación es una decisión de diseño ilustrativa, no una proporción óptima demostrada. Compárala con una política que adquiera 50 solicitudes al azar, usando el mismo conjunto semilla inicial y un conjunto de evaluación independiente. No se da por supuesta ninguna mejora.

Sesgo de selección y evaluación

Las etiquetas seleccionadas de forma activa, por lo general, no siguen la distribución de la población. Por ello, el rendimiento medido sobre esos ejemplos seleccionados no puede tomarse como el rendimiento representativo en producción. La investigación también muestra que el sesgo de selección no siempre perjudica el entrenamiento del modelo; corregirlo no resulta automáticamente beneficioso para cualquier algoritmo de aprendizaje. [2]

Compara las curvas de aprendizaje con la adquisición aleatoria con presupuestos de etiquetas equivalentes e informa del tiempo real de anotación cuando los ejemplos difíciles cuesten más. Repite el experimento con distintos conjuntos semilla siempre que sea viable. Reserva la prueba final para el procedimiento elegido e informa del comportamiento en las clases minoritarias además de la métrica agregada. Este es un flujo de trabajo basado en fuentes, no un experimento propio.

Fuentes

[1] Burr Settles: Active Learning Literature Survey

[2] Farquhar, Gal and Rainforth (2021): On Statistical Bias in Active Learning