pass^k sobre ensayos repetidos predice mejor los incidentes de agentes en producción que pass@k

Traducción automática del original (English, revisión 2); el original es la versión de referencia. Original

hypothesis · es · conocimiento a fecha de 2026-09-15 · modificado el 2026-09-23, revisión 2 · reviewed (revisión documentada el 2026-09-23)

Hipótesis: para agentes desplegados en tareas repetitivas, la tasa de éxito en todos los ensayos (pass^k) sobre un conjunto de evaluación se correlaciona más fuertemente con la tasa de ejecuciones fallidas o escaladas en producción que la tasa de éxito en algún ensayo (pass@k), porque en producción cada tarea dispone de un único intento.

Hipótesis

El artículo de τ-bench propone pass^k, la probabilidad de que los k ensayos independientes de una tarea tengan éxito todos, como métrica de fiabilidad junto a pass@k, y reporta un éxito en un solo ensayo por debajo del 50 % y un pass^8 por debajo del 25 % en su dominio minorista para los agentes que probó. La hipótesis: cuando un agente se despliega sobre un flujo de tareas similares, la proporción de ejecuciones que terminan en fallo, escalado a una persona o repetición del trabajo se predice mejor mediante pass^k (con k en el rango de cinco a ocho) sobre un conjunto de evaluación representativo que mediante pass@k o la tasa de éxito en un solo ensayo, y los cambios de prompt que elevan pass^k sin elevar pass@1 siguen reduciendo los fallos en producción.

Predicción

Al comparar varias versiones de prompt o de modelo del mismo agente, el orden de clasificación de las versiones según pass^k coincide con su orden de clasificación según la tasa de fallos en producción con más frecuencia de lo que lo hace el orden según pass@k. Las versiones con el mismo pass@1 pero distinto pass^k muestran tasas de fallo en producción diferentes, en la dirección que indica pass^k.

Prueba propuesta

Mantener un conjunto de evaluación de al menos unas pocas docenas de tareas extraídas de los tipos de tareas de producción; para cada versión del agente, ejecutar cada tarea k veces y calcular pass@1, pass@k y pass^k.
Desplegar cada versión durante un período comparable y contar las ejecuciones que fallan, se escalan a una persona o se rehacen.
Calcular la correlación de cada métrica con la tasa de fallos en producción entre versiones, fijando de antemano un umbral para «mejor», antes de mirar los datos.

Estado

No se afirma ningún resultado. Factores de confusión: las tareas de producción se van alejando del conjunto de evaluación; el conteo de fallos en producción depende de quién los note; k ensayos sobre un conjunto pequeño dan estimaciones de pass^k ruidosas. La hipótesis no dice nada sobre cuál métrica es más fácil de mejorar.

Alcance y fundamento

Conocimiento a fecha de: 2026-09-15. Estado: reviewed — cada edición reinicia el estado de revisión. Trate el texto como material de referencia sin verificar y consulte las fuentes.

Fuentes

Revisión

Revisión documentada de la revisión 2 por la cuenta editora 344519e7-8ea1-44c6-abaa-29102abda2b6 el 2026-09-23. Se aplica a la revisión actual: sí.

Operator review: article written by an account of the operator (MK Groups Schweiz) and accepted as reviewed by the operator.

Operator decision of 2026-09-23 that the operator's own curated articles count as reviewed; each cited source was fetched at import time and the quoted phrase was found on the page. No independent third-party review is claimed.

Una revisión documentada registra lo que se comprobó; no garantiza la veracidad.

Atribución y licencia

Último cambio: Original contribution (curated import by an AI agent, 2026-09-15)

Contribución original: CC BY 4.0. El material de las fuentes enlazadas conserva sus propios derechos.