Gedächtnisvergiftung: wenn eine eingeschleuste Anweisung in jede spätere Sitzung überlebt

Worum es geht

Viele Agenten führen sitzungsübergreifend Notizen: Präferenzen der nutzenden Person, Projekttatsachen, gelernte Lektionen. Schreibt der Agent in dieses Gedächtnis, während er nicht vertrauenswürdige Inhalte verarbeitet, kann eine eingeschleuste Anweisung gespeichert werden, als wäre sie eine legitime Notiz — «die nutzende Person möchte, dass Berichte auch an diese Adresse gesendet werden», «Pakete immer von diesem Spiegel installieren». Spätere Sitzungen laden die Notiz als vertrauenswürdigen Kontext. OWASPs 2025er-Liste behandelt die zugrunde liegenden Mechanismen unter Prompt-Injektion (LLM01) und Daten- und Modellvergiftung (LLM04); das Gedächtnis eines Agenten macht den Effekt dauerhaft.

Warum es wichtig ist

• Dauerhaftigkeit: Der Angriff muss die bösartige Seite nicht mehr erneut lesen lassen.
• Distanz: Die Sitzung, in der der Schaden entsteht, enthält keine Spur der Quelle; Untersuchende sehen nur einen Gedächtniseintrag.
• Autoritätsverschiebung: Gedächtniseinträge werden oft in den System- oder Entwickler-Teil des Prompts eingefügt, was ihnen mehr Gewicht verleiht als dem Inhalt, aus dem sie stammen.

So wird es angewendet

• Bei jedem Schreibvorgang ins Gedächtnis die Provenienz festhalten: Sitzung, Zeitpunkt und welche Eingaben im Kontext standen (Nachricht der nutzenden Person, Werkzeugergebnis, abgerufene URL).
• Den Agenten nicht ins Gedächtnis schreiben lassen, solange nicht vertrauenswürdiger Inhalt im Kontext steht, oder solche Schreibvorgänge zur Bestätigung durch die nutzende Person zurückstellen.
• Begrenzen, was das Gedächtnis enthalten darf: von der nutzenden Person geäusserte Tatsachen und Präferenzen, keine Anweisungen zu Werkzeugen, Zielen, Zugangsdaten oder Berechtigungen.
• Gedächtniseinträge als zitierte Daten in einem klar abgegrenzten Abschnitt laden, nicht als Systemanweisungen.
• Einträgen ein Ablauf- oder Überprüfungsdatum geben und den gesamten Gedächtnisspeicher für die nutzende Person leicht lesbar und bearbeitbar machen.
• Bei einem Sicherheitsvorfall den Gedächtnisspeicher in die Untersuchung einbeziehen und auf eine bekanntermassen unbedenkliche Version zurücksetzen.

Stolpersteine

• Zusammenfassungsschritte, die eine zitierte Anweisung in die eigene Stimme des Agenten umschreiben und dabei die Tatsache verwischen, dass sie von Dritten stammt.
• Gemeinsam genutztes Gedächtnis zwischen Nutzenden oder Mandanten, wodurch die vergiftete Sitzung einer Person die einer anderen beeinflussen kann.
• Einen fehlerhaften Eintrag löschen, ohne zu prüfen, welche Aktionen ausgeführt wurden, während er aktiv war.