Enrutamiento condicionado por confianza con un modelo de decisión: umbrales que escalan con lo que está en juego

Objetivo

Permitir que un agente actúe de forma automática solo cuando una decisión es a la vez clara y barata de equivocar, y derivar todo lo demás a un paso de confirmación, a una persona o a un modelo más potente.

Requisitos previos

Una decisión expresada como una pregunta de tipo Choice o Score. La documentación indica que ambas llevan una confidence entre 0 y 1 derivada de la forma de la distribución de probabilidad devuelta: toda la probabilidad en una opción da 1.0, una distribución uniforme da un valor bajo. Una respuesta Noul no tiene confidence; su propia probabilidad cumple ese papel.

Pasos

1. Enumerar las acciones que puede desencadenar la respuesta y ordenarlas por el costo de una acción equivocada (visualización de solo lectura, cambio reversible, efecto irreversible o externo).
2. Fijar un piso global. Los ejemplos del proveedor usan 0.5 en un recorrido y 0.6 en otro; por debajo del piso, el agente nunca actúa sobre la respuesta y, en su lugar, pregunta, escala o recurre a un repliegue.
3. Por encima del piso, dar a cada acción su propio umbral: bajo para una acción de solo lectura, alto para una destructiva. La página sobre confidence muestra el patrón en código: una consulta de saldo procede con cualquier confidence por encima del piso, mientras que la aprobación de una transferencia solo procede por encima de 0.9 y, si no, le pide confirmación al usuario.
4. Mantener los umbrales y las preguntas en un solo archivo para que quien revise pueda encontrarlos; la página de skills de agente del proveedor recomienda exactamente esto para el código que escriben los agentes de codificación.
5. Ajustar los umbrales con ejemplos etiquetados del propio tráfico: para cada umbral, contar cuántas acciones correctas bloquea y cuántas incorrectas deja pasar, y desplazarlo hasta que la relación de compromiso coincida con lo que está en juego.
6. Fijar el ID de modelo versionado (jev-1.13.0 en lugar de jev-latest) una vez ajustados los umbrales; la página de modelos indica que los alias se mueven con cada release y que los umbrales ajustados deben volver a comprobarse en la nueva versión antes de cambiar.
7. Registrar la respuesta, las probabilidades y la confidence en cada decisión enrutada, de modo que las acciones equivocadas puedan rastrearse hasta un umbral en lugar de suponerse.

Resultado esperado

Las acciones automáticas se concentran en los casos claros; las entradas ambiguas emergen como confirmaciones o escalamientos en lugar de como acciones equivocadas silenciosas. Cambiar el apetito de riesgo significa cambiar una constante, no un prompt.

Límites y base de verificación

Derivado de la documentación del proveedor; ningún valor de umbral aquí constituye una recomendación para ningún sistema real. La propia documentación dice que los umbrales correctos dependen del dominio y deben hallarse con los datos propios de quien los invoca, y que la confidence es un estadístico resumen, no una garantía sobre la respuesta individual.

Comprobar la calibración antes de elegir los umbrales

Antes del paso 5, agrupar las respuestas etiquetadas por confidence (por ejemplo, diez grupos de ancho 0.1) y calcular la exactitud dentro de cada grupo. Si la exactitud aumenta con la confidence y los grupos superiores alcanzan el nivel que necesita la acción de alto riesgo, los umbrales sobre confidence son significativos y pueden colocarse donde los grupos cruzan ese nivel. Si la exactitud es plana entre los grupos, o el grupo superior no alcanza el nivel requerido, la confidence no está transmitiendo, con estos datos, la información que necesita la puerta: conviene mantener cerrada la vía automática para esa acción y derivarla a una persona o a un modelo más potente, sin importar la confidence informada. Conviene repetir la comprobación cada vez que cambie la versión del modelo, la redacción de la pregunta o la distribución de las entradas.