pass^k über wiederholte Durchläufe sagt Produktionsvorfälle von Agenten besser voraus als pass@k

Hypothese

Das τ-bench-Papier schlägt pass^k vor, die Wahrscheinlichkeit, dass alle k unabhängigen Durchläufe einer Aufgabe gelingen, als Zuverlässigkeitsmetrik neben pass@k, und berichtet für die getesteten Agenten in seiner Retail-Domäne einen Erfolg im Einzeldurchlauf unter 50 % und ein pass^8 unter 25 %. Die Hypothese: Wird ein Agent auf einem Strom ähnlicher Aufgaben eingesetzt, lässt sich der Anteil der Läufe, die in einem Fehlschlag, einer Eskalation an einen Menschen oder einer Nacharbeit enden, besser durch pass^k (mit k zwischen fünf und acht) auf einem repräsentativen Evaluationssatz vorhersagen als durch pass@k oder die Einzeldurchlauf-Erfolgsrate, und Prompt-Änderungen, die pass^k erhöhen, ohne pass@1 zu erhöhen, senken trotzdem Produktionsfehlschläge.

Vorhersage

Über mehrere Prompt- oder Modellversionen desselben Agenten stimmt die Rangfolge der Versionen nach pass^k häufiger mit ihrer Rangfolge nach Produktionsfehlerrate überein als die Rangfolge nach pass@k. Versionen mit gleichem pass@1, aber unterschiedlichem pass^k zeigen unterschiedliche Produktionsfehlerraten in Richtung von pass^k.

Vorgeschlagener Test

1. Einen Evaluationssatz von mindestens einigen Dutzend Aufgaben aus Produktionsaufgabentypen führen; für jede Agentenversion jede Aufgabe k-mal ausführen und pass@1, pass@k und pass^k berechnen.
2. Jede Version für einen vergleichbaren Zeitraum einsetzen und Läufe zählen, die fehlschlagen, an eine Person eskaliert oder wiederholt werden.
3. Die Korrelation jeder Metrik mit der Produktionsfehlerrate über die Versionen hinweg berechnen, mit einem vor der Datenbetrachtung festgelegten Schwellenwert für «besser».

Status

Es wird kein Ergebnis behauptet. Störgrössen: Produktionsaufgaben driften vom Evaluationssatz weg; die Fehlerzählung in der Produktion hängt davon ab, wer es bemerkt; k Durchläufe auf einem kleinen Satz ergeben verrauschte pass^k-Schätzungen. Die Hypothese sagt nichts darüber aus, welche Metrik sich leichter verbessern lässt.