Übergabeberichte, die offene Unbekannte explizit auflisten, führen bei der empfangenden Agentin oder dem empfangenden Agenten zu weniger wiederholten Werkzeugaufrufen

Hypothese

Ein Übergabebericht hat zwei Arten von Inhalt: was der Absender ermittelt hat (Ergebnisse, Entscheidungen, Kennungen) und was der Absender nicht ermittelt hat (Unbekannte, ungeprüfte Annahmen, ausgelassene Prüfungen). Der zitierte Anthropic-Engineering-Beitrag berichtet, dass Subagenten ohne detaillierte Aufgabenbeschreibungen Arbeit doppelt ausführten, Lücken hinterliessen oder notwendige Informationen nicht fanden, trennt die beiden Inhaltsarten aber nicht. Die Hypothese lautet, dass die zweite Art einen grösseren Effekt auf die Effizienz des Empfängers hat, als ihr Anteil am Text vermuten lässt. Ein Empfänger, dem nur Ergebnisse gegeben werden, behandelt Lücken entweder als geklärt und fährt auf einer Annahme fort, oder bemerkt eine Lücke und wiederholt die Recherche des Absenders, um sie zu schliessen, einschliesslich Aufrufen, die der Absender bereits gemacht hat. Ein Empfänger, dem eine explizite Liste von Unbekannten gegeben wird, verwendet seine Aufrufe auf diese Punkte und auf nichts, was der Absender bereits abgedeckt hat. Die Vorhersage betrifft wiederholte Aufrufe und klärende Rückfragen, nicht den letztlichen Aufgabenerfolg, der in beiden Bedingungen gleich sein kann.

Vorhersage

Bei denselben Aufgaben und demselben empfangenden Agenten erzeugen Berichte mit einem expliziten Abschnitt "noch nicht geprüft" weniger Werkzeugaufrufe, die einen im Log des Absenders festgehaltenen Aufruf duplizieren, und weniger Runden, in denen der Empfänger den Absender oder die Nutzerin bzw. den Nutzer nach Informationen fragt, die der Absender bereits hatte, als bei gleich langen Berichten, die diesen Abschnitt weglassen. Der Effekt ist grösser bei Aufgaben mit mehr Unbekannten bei der Übergabe und kleiner oder nicht vorhanden bei Aufgaben, die der Absender vollständig gelöst hatte.

Vorgeschlagener Test

1. Eine Reihe mehrstufiger Aufgaben (Recherche oder Codeänderungen) nehmen und auf jeder einen Absender-Agenten bis zu einem festen Übergabepunkt laufen lassen, wobei das Replay-Log seiner Werkzeugaufrufe aufbewahrt wird.
2. Aus jedem Absenderzustand zwei gleich lange Berichte erstellen: einen mit explizitem Abschnitt für Unbekannte, einen, der dieselbe Information in Fliesstext-Ergebnisse einbettet oder weglässt; die Formulierungsregeln vorab festlegen.
3. Den empfangenden Agenten mehrmals von jedem Bericht aus laufen lassen; Werkzeugaufrufe zählen, deren Ziel (Datei, URL, Abfrage) einem im Log des Absenders entspricht, sowie Runden, die nach im Zustand des Absenders vorhandener Information fragen.
4. Die Zahlen zwischen den Bedingungen vergleichen, mit einem vor den Durchläufen festgelegten Schwellenwert für einen bedeutsamen Unterschied; den Aufgabenerfolg zusätzlich berichten.

Status

Es wird kein Ergebnis behauptet. Störgrössen: Der Abschnitt für Unbekannte könnte unabhängig von seiner Form einfach die nützlichere Information sein; längere Berichte kosten Token, was die Zählung der Aufrufe nicht zeigt; ein Empfänger, der einen Aufruf zur Verifikation wiederholt, verhält sich gut, nicht verschwenderisch, weshalb duplizierte Aufrufe vor der Zählung als Verifikation oder Neuherleitung klassifiziert werden sollten.