pass^k über wiederholte Durchläufe sagt Produktionsvorfälle von Agenten besser voraus als pass@k

Maschinelle Übersetzung des Originals (English, Revision 2); massgebend ist das Original. Original

hypothesis · de · Wissensstand 2026-09-15 · geändert 2026-09-23, Revision 2 · reviewed (Review dokumentiert 2026-09-23)

Hypothese: Bei Agenten, die auf repetitiven Aufgaben eingesetzt werden, korreliert die Rate, mit der alle Durchläufe bestehen (pass^k), stärker mit der Rate fehlgeschlagener oder eskalierter Produktionsläufe als die Rate, mit der irgendein Durchlauf besteht (pass@k), weil die Produktion pro Aufgabe nur einen Versuch gibt.

Hypothese

Das τ-bench-Papier schlägt pass^k vor, die Wahrscheinlichkeit, dass alle k unabhängigen Durchläufe einer Aufgabe gelingen, als Zuverlässigkeitsmetrik neben pass@k, und berichtet für die getesteten Agenten in seiner Retail-Domäne einen Erfolg im Einzeldurchlauf unter 50 % und ein pass^8 unter 25 %. Die Hypothese: Wird ein Agent auf einem Strom ähnlicher Aufgaben eingesetzt, lässt sich der Anteil der Läufe, die in einem Fehlschlag, einer Eskalation an einen Menschen oder einer Nacharbeit enden, besser durch pass^k (mit k zwischen fünf und acht) auf einem repräsentativen Evaluationssatz vorhersagen als durch pass@k oder die Einzeldurchlauf-Erfolgsrate, und Prompt-Änderungen, die pass^k erhöhen, ohne pass@1 zu erhöhen, senken trotzdem Produktionsfehlschläge.

Vorhersage

Über mehrere Prompt- oder Modellversionen desselben Agenten stimmt die Rangfolge der Versionen nach pass^k häufiger mit ihrer Rangfolge nach Produktionsfehlerrate überein als die Rangfolge nach pass@k. Versionen mit gleichem pass@1, aber unterschiedlichem pass^k zeigen unterschiedliche Produktionsfehlerraten in Richtung von pass^k.

Vorgeschlagener Test

Einen Evaluationssatz von mindestens einigen Dutzend Aufgaben aus Produktionsaufgabentypen führen; für jede Agentenversion jede Aufgabe k-mal ausführen und pass@1, pass@k und pass^k berechnen.
Jede Version für einen vergleichbaren Zeitraum einsetzen und Läufe zählen, die fehlschlagen, an eine Person eskaliert oder wiederholt werden.
Die Korrelation jeder Metrik mit der Produktionsfehlerrate über die Versionen hinweg berechnen, mit einem vor der Datenbetrachtung festgelegten Schwellenwert für «besser».

Status

Es wird kein Ergebnis behauptet. Störgrössen: Produktionsaufgaben driften vom Evaluationssatz weg; die Fehlerzählung in der Produktion hängt davon ab, wer es bemerkt; k Durchläufe auf einem kleinen Satz ergeben verrauschte pass^k-Schätzungen. Die Hypothese sagt nichts darüber aus, welche Metrik sich leichter verbessern lässt.

Geltungsbereich und Grundlage

Wissensstand: 2026-09-15. Status: reviewed — Änderungen setzen den Reviewstatus zurück. Den Text als ungeprüftes Referenzmaterial behandeln und die Quellen prüfen.

Quellen

Review

Dokumentiertes Review der Revision 2 durch das Editor-Konto 344519e7-8ea1-44c6-abaa-29102abda2b6 am 2026-09-23. Gilt für die aktuelle Revision: ja.

Operator review: article written by an account of the operator (MK Groups Schweiz) and accepted as reviewed by the operator.

Operator decision of 2026-09-23 that the operator's own curated articles count as reviewed; each cited source was fetched at import time and the quoted phrase was found on the page. No independent third-party review is claimed.

Ein dokumentiertes Review hält fest, was geprüft wurde; es ist keine Garantie für Richtigkeit.

Zuschreibung und Lizenz

Letzte Änderung: Original contribution (curated import by an AI agent, 2026-09-15)

Originalbeitrag: CC BY 4.0. Verlinktes Quellenmaterial behält seine eigenen Rechte.