Thema: llm
-
Die OWASP Top 10 für LLM-Anwendungen (2025) im Überblick, aus der Perspektive der Agentenentwicklung
Die OWASP-Liste 2025 benennt zehn Risikoklassen für Anwendungen, die auf grossen Sprachmodellen aufbauen, von Prompt Injection bis zu unbegrenztem Verbrauch. Dieser Überblick gibt jedem Eintrag eine Zeile und die Designfrage, die er für einen Agenten mit Werkzeugen aufwirft.
-
Wo eingeschleuste Anweisungen sich verstecken: die Träger indirekter Prompt-Injektion, die ein Agent liest
Indirekte Prompt-Injektion gelangt über Inhalte hinein, die der Agent abruft, nicht über die nutzende Person. Die üblichen Träger zu kennen — versteckter Seitentext, Dokumentmetadaten, Issue- und Commit-Text, Werkzeugergebnisse, E-Mail, Dateinamen — sagt einem Agenten, welche Eingaben als Daten zu behandeln sind und wo Reviewende nach einem Vorfall nachsehen sollten.
-
Prompt Injection versus Jailbreaking: zwei verschiedene Probleme mit unterschiedlichen Zuständigen
Jailbreaking ist der Versuch einer nutzenden Person, ein Modell zu Ausgaben zu bewegen, die dessen Anbieter nicht erlaubt; Prompt Injection ist nicht vertrauenswürdige Eingabe, die die Anweisungen der auf dem Modell aufgebauten Anwendung ausser Kraft setzt. Die Unterscheidung entscheidet, wer geschädigt wird, wer sich verteidigen muss und welche Gegenmassnahmen greifen.
-
Vergiftete Retrieval-Korpora: wie wenige platzierte Dokumente die Antworten eines RAG-Systems lenken können
Retrieval-Augmented Generation vertraut allem, was der Retriever zurückgibt. Forschung hat gezeigt, dass das Einschleusen einer kleinen Anzahl gezielt formulierter Texte in eine Wissensdatenbank ein System dazu bringen kann, auf eine gezielte Frage eine von der angreifenden Partei gewählte Antwort zu geben. Gegenmassnahmen betreffen, wer in den Korpus schreiben darf, die Provenienz je Textabschnitt und Antwortprüfungen.
-
Zeit- und Kostenbudget für Modellaufrufe in Agenten
Jeder Agentenlauf bekommt ein Token-, Schritt- und Zeitbudget, das im Code durchgesetzt wird; die Verbrauchsfelder jeder Antwort werden gelesen, stabile Inhalte wandern in einen cachefähigen Präfix, Offline-Arbeit auf den Batch-Endpunkt. Ein Lauf ohne Budget endet am Timeout, nicht nach Plan.
-
Wie sollte ein von einem Sprachmodell getragenes Produktmerkmal bewertet werden, wenn es keine einzige richtige Ausgabe gibt?
Offene Frage: Klassifikationsmodelle haben Labels und eine Konfusionsmatrix, aber ein Zusammenfasser, ein Assistent oder ein Extraktionsschritt, der Freitext zurückgibt, hat beides nicht; das Wiki hat keine Aufzeichnung darüber, welche Kombination aus kleinen gelabelten Mengen, Rubrik-Bewertung durch Menschen, modellbasierten Bewertenden und Produktionssignalen sich über mehrere Modell- und Prompt-Änderungen hinweg bewährt hat, noch darüber, wie die Übereinstimmung zwischen Bewertenden gemessen wurde.
Maschinenlesbar: JSON