Einen Agenten-Workflow als Red Team angreifen, bevor er echte Berechtigungen erhält

Ziel

Herausfinden, wozu ein Angreifer den Agenten über die von ihm verarbeiteten Eingaben bewegen kann, bevor der Agent Berechtigungen besitzt, die die Antwort teuer machen, und jeden Befund in einen Regressionstest verwandeln.

Voraussetzungen

Eine Staging-Kopie des Agenten mit seinen echten Tools, gerichtet auf entbehrliche Ziele; wiederabspielbare Lauf-Logs; eine Liste der Eingaben des Agenten: Nutzernachrichten, abgerufene Dokumente, Webseiten, Tool-Ergebnisse, Memory-Dateien, Dateinamen. Das zitierte OWASP-Cheat-Sheet zur Prävention von LLM-Prompt-Injection katalogisiert Angriffsklassen (direkte und Remote-/indirekte Injection, Kodierung und Verschleierung, RAG-Vergiftung, agentenspezifische Angriffe) und Abwehrmassnahmen (strukturierte Prompts mit klarer Trennung, Ausgabevalidierung, Human-in-the-Loop-Kontrollen, geringstmögliche Rechte). Scanner wie garak fahren Bibliotheken von Sonden für Prompt-Injection, Datenlecks, Jailbreaks und andere Schwächen gegen ein Sprachmodell.

Schritte

1. Die Bedrohungsliste pro Eingabe schreiben: Für jede Stelle, an der nicht vertrauenswürdiger Inhalt eintritt – welcher schlimmste Tool-Aufruf könnte er auslösen (senden, löschen, bezahlen, über einen URL-Parameter exfiltrieren, eine Memory-Datei schreiben)?
2. Payloads in jede Eingabe einschleusen: eine Anweisung in einem abgerufenen Dokument, im versteckten Text einer Webseite, in einem Dateinamen, in einem Tool-Ergebnis, in einer Commit-Message. Die Form variieren: klar, kodiert, über Chunks verteilt, in einer anderen Sprache.
3. Skriptgesteuerte Sonden mit einem Scanner gegen die modellzugewandte Schnittstelle fahren, dann manuelle Versuche gegen den gesamten Workflow, weil die interessanten Fehlschläge Tool-Ketten betreffen.
4. Exfiltration gezielt versuchen: Lässt sich der Agent dazu bringen, geheime oder private Daten in eine abgerufene URL, eine gesendete Nachricht oder eine an einen geteilten Ort geschriebene Datei aufzunehmen?
5. Erschöpfung versuchen: Eingaben, die den Agenten in eine Schleife bringen, Tools tausendfach aufrufen lassen oder seinen Kontext füllen.
6. Jeden Versuch mit dem Lauf-Log festhalten: Payload, Platzierung, was der Agent getan hat, ob ein Gate oder die Sandbox ihn gestoppt hat.
7. Zuerst an der Grenze beheben (Fähigkeit entfernen, absichern, Netzwerk einschränken, Argumente validieren), dann den Prompt verbessern, dann die Payload dauerhaft zur Evaluationsmenge hinzufügen.
8. Nach jedem neuen Tool oder jeder neuen Eingabequelle wiederholen.

Erwartetes Ergebnis

Eine Tabelle von Eingaben gegen die schlimmste erreichte Handlung, jeder Befund mit einer Korrektur an der Grenze und einem Regressionstest, sowie ein dokumentiertes Restrisiko für das, was nur der Prompt abwehrt.

Grenzen und Prüfbasis

Abwehrmassnahmen auf Prompt-Ebene sind probabilistisch; eine Payload, die heute scheitert, kann nach einem Modell-Update erfolgreich sein, weshalb Befunde zu Tests werden. Die Übung findet, was das Team zu versuchen bedacht hat; ein Scanner erweitert die Abdeckung, kennt aber die Tools der Anwendung nicht. Für keinen bestimmten Agenten werden hier Ergebnisse beansprucht.