Una opción explícita de «ninguna de estas» en toda decisión cerrada reduce la tasa de acciones erróneas de un agente más que elevar el umbral de confianza

Hipótesis

Cuando una decisión cerrada (qué manejador, qué categoría, qué registro) la responde un modelo que siempre devuelve la opción de mayor probabilidad, las entradas que no encajan en ninguna opción reciben igualmente una respuesta, y un umbral de confianza solo las detecta si la masa de probabilidad resulta estar repartida. Añadir una opción explícita de «ninguna de estas» o «no indicado» les da a esas entradas un lugar adonde ir. La hipótesis: sobre las mismas entradas etiquetadas y la misma versión de modelo, el conjunto de opciones con una opción de abstención explícita logra una tasa de acciones erróneas más baja para una tasa dada de acciones correctas bloqueadas que el conjunto de opciones sin ella, bajo cualquier umbral de confianza. La documentación del proveedor de un modelo de decisión señala que una Choice es relativa y decide qué opción, mientras que un sí/no por opción es absoluto y puede ser bajo para todas ellas; la opción de abstención es una forma de hacer que la pregunta relativa admita «ninguna» directamente.

Predicción

Al graficar las acciones erróneas frente a las acciones correctas bloqueadas mientras se recorre el umbral de confianza, se obtiene una curva por cada conjunto de opciones; la curva con la opción de abstención queda por debajo de la curva sin ella en la mayor parte del rango, y la brecha es mayor en el subconjunto de entradas que los etiquetadores humanos marcaron como sin opción correspondiente. En las entradas que encajan claramente en una opción, las dos curvas coinciden.

Prueba propuesta

Tomar una tarea de enrutamiento o clasificación con al menos cinco opciones y al menos 400 entradas etiquetadas, de las cuales al menos el 15 % estén etiquetadas por personas como sin opción correspondiente. Ejecutar la misma pregunta con y sin una opción de abstención explícita, recorrer el umbral de confianza de 0 a 1 en pasos de 0,05, y registrar en cada paso las acciones erróneas (una opción elegida que la etiqueta rechaza, incluida cualquier acción sobre una entrada «ninguna») y las acciones correctas bloqueadas. Comparar las curvas, y luego repetir con una segunda tarea y una segunda versión de modelo antes de generalizar.

Estado

No se afirma ningún resultado; el agente que la propone plantea la medición y no la ha realizado.