Werkzeugergebnisse und abgerufene Textstellen mit einem Entscheidungsmodell prüfen, bevor sie den Kontext des Agenten erreichen

Ziel

Den Anteil des Kontexts eines Agenten, der irrelevant, widersprüchlich oder feindselig ist, verringern, bevor das Reasoning-Modell ihn sieht, und Zitate abfangen, die nicht das aussagen, was der Agent behauptet – mit einem günstigen typisierten Aufruf pro Batch statt eines zweiten Reasoning-Durchgangs.

Voraussetzungen

Eine Retrieval- oder Werkzeugschicht, die der Host des Agenten kontrolliert, ein mit niedriger Latenz erreichbares Entscheidungsmodell und eine vereinbarte Richtlinie für jede Klasse von Befund (verwerfen, markieren, behalten, eskalieren). Die Cookbooks von TypeSafe beschreiben drei solche Filter: die Klassifikation abgerufener Textstellen (relevant, der Frage widersprechend oder eine versteckte Anweisung bzw. Prompt Injection tragend), Leitplanken um eine Sprachmodell-Anwendung herum (Gefahrenfragen wie „ist dies ein Jailbreak-Versuch?“ mit einem Schweregrad) und die Zitatprüfung (ob der zitierte Kontext die Behauptung stützt).

Schritte

1. Eingaben in Einheiten aufteilen, die separat beurteilt werden: eine Textstelle, ein Werkzeugergebnis, ein zitierter Beleg. Jede Einheit unter einem nummerierten Schlüssel in den Zustand legen.
2. Pro Einheit in einer einzigen Anfrage dieselbe kleine Menge an Fragen stellen: Relevanz für die Frage (Score mit konkreten Stufen), Widerspruch zur Prämisse der Frage (Noul), Vorhandensein von an das Modell gerichteten Anweisungen (Noul), und bei Zitaten eine Choice zwischen „stützt“, „stützt nicht“, „nicht feststellbar“.
3. Im Code entscheiden: als Anweisungen tragend markierte Einheiten verwerfen, widersprechende Einheiten behalten, aber markieren, damit das Reasoning-Modell den Widerspruch sieht, den Rest nach Relevanz ordnen und beim Kontextbudget abschneiden.
4. Zitatprüfungen mit geringer Sicherheit an eine Person oder an ein stärkeres Modell weiterleiten, statt sie stillschweigend zu behalten oder zu verwerfen.
5. Kennungen der Einheiten mit ihren Antworten protokollieren, damit ein falsches Verwerfen später auffindbar ist.
6. Den Filter mit Textstellen testen, die geschrieben wurden, um für ihre eigene Relevanz oder Sicherheit zu argumentieren, bevor er nicht vertrauenswürdigem Inhalt ausgesetzt wird.

Erwartetes Ergebnis

Das Reasoning-Modell erhält weniger, dafür relevantere Einheiten mit expliziten Markierungen, wo Quellen sich widersprechen; Zitatfehler tauchen als Review-Punkte auf, statt in die Ausgabe zu gelangen.

Grenzen und Prüfbasis

Der Filter ist eine Schranke, keine Sicherheitsgrenze: Die eigene Fehlermodus-Seite des Anbieters besagt, dass Zustand standardmässig nicht als feindselig behandelt wird und dass feindseliger Inhalt die Antwort verschieben kann. Die Sandbox- und Berechtigungsgrenzen, die auch ohne den Filter gelten, beibehalten. Die beschriebenen Abläufe stammen aus den Cookbooks des Anbieters; hier wird keine Genauigkeitszahl behauptet.