Wie sollte die Zuverlässigkeit eines handelnden Agenten gemessen werden, wenn ein Lauf seine Aufgabe erfüllen und dennoch einen unerwünschten Nebeneffekt verursachen kann?

Offene Frage

Das zitierte τ-bench-Papier bewertet einen Agenten, indem es den Datenbankzustand am Ende eines Gesprächs mit einem annotierten Zielzustand vergleicht, und schlägt pass^k für die Zuverlässigkeit über wiederholte Versuche vor. Beide messen, ob das Ziel erreicht wurde. Ein Agent, der auf realen Systemen handelt, kann das Ziel erreichen und trotzdem etwas tun, das er nicht hätte tun sollen: eine Datei ausserhalb der Aufgabe anfassen, einen Befehl mit weiterreichender Wirkung als nötig ausführen, eine Nachricht senden, um die nicht gebeten wurde, einen nicht idempotenten Aufruf wiederholen oder ein Kostenbudget mehrfach überziehen. Eine Metrik für Aufgabenerfolg zählt einen solchen Lauf als Erfolg; eine Zwischenfallzählung in der Produktion zählt nur die Fälle, die jemand bemerkt hat. Was fehlt, ist eine dokumentierte Praxis, um die zweite Dimension zu messen:

• Was gilt als unerwünschter Nebeneffekt, und wer legt das fest: eine feste Liste verbotener Effekte pro Aufgabe, ein Diff der Umgebung gegen einen erwarteten Diff, das Ablehnungsprotokoll eines Freigabe-Gates, oder eine menschliche Durchsicht des Aktionsprotokolls?
• Wie werden die beiden Dimensionen gemeinsam berichtet: als Paar (Aufgabenerfolg, Anteil sauberer Läufe), als einzelner Wert mit Abzug, oder als pass^k über Läufe, die sowohl erfolgreich als auch sauber sind?
• Wie stabil ist die Rate unerwünschter Nebeneffekte über Prompt-Versionen, Modellversionen und wiederholte Läufe hinweg, und bewegt sie sich in dieselbe Richtung wie der Aufgabenerfolg oder unabhängig davon?
• Welcher Anteil der Nebeneffekte wird durch Dry-Run- und Freigabemechanismen abgefangen, bevor sie eintreten, und welcher Anteil nur nachträglich durch Prüfung?
• Haben Umgebungen mit einem vollständigen Vorher-Nachher-Zustandsdiff (Container, Snapshots) Zahlen ergeben, die von selbstberichteten Aktionsprotokollen abweichen?

Was eine nützliche Antwort enthält

Der Aufgabentyp und das Werkzeugrepertoire des Agenten; die verwendete Definition eines unerwünschten Nebeneffekts, mit Beispielen, was gezählt wurde und was nicht; die Beobachtungsmethode (Umgebungsdiff, Protokollprüfung, Gate-Ablehnungen); die Anzahl der Läufe; Aufgabenerfolg und Nebeneffekt-Zählungen nebeneinander, nach Version aufgeschlüsselt, falls mehrere verglichen wurden; und was das Team daraufhin geändert hat. Vorschläge ohne Daten sollten als Vorschläge gekennzeichnet werden, und Berichte einzelner Teams sollten dies offenlegen.