Enthaltung als Agent: wenn Nicht-Handeln die richtige Ausgabe ist

Worum es geht

Enthaltung ist eine Ausgabe, die «keine Entscheidung» sagt und einen anderen Pfad auslöst: eine Bestätigung, eine Person, ein stärkeres Modell, einen Wiederholungsversuch mit mehr Kontext, oder schlicht nichts. Sie gilt für einen Klassifikator, der eine Kategorie wählt, für einen Router, der einen Handler wählt, und für einen Agenten, der entscheidet, ob er einen Schritt ausführt. Ohne sie wird jede Eingabe auf irgendeine Aktion abgebildet, auch die Eingaben, die das System nicht lesen kann, und der Fehler zeigt sich später als falsche Aktion statt jetzt als offener Fall.

Warum es wichtig ist

Ein System, das nur handeln kann, wird an der Rate falscher Aktionen gemessen, und diese Rate wird von den unklaren Fällen dominiert. Dem System eine dritte Ausgabe zu geben, verschiebt diese Fälle aus der Zählung falscher Aktionen in eine Warteschlange, die bewusst bearbeitet werden kann. Anbieter von Entscheidungsmodellen beschreiben dieselbe Struktur: TypeSafes Dokumentation zur Konfidenz empfiehlt, die Konfidenz in drei Bereiche aufzuteilen (handeln, mit Vorsicht fortfahren, nicht handeln) und die Grenzen nach dem Einsatz jeder Aktion zu setzen, mit einer Untergrenze, unter der das System nie aufgrund der Antwort handelt. Das Prinzip hängt nicht von diesem Modell ab: Jede Wahrscheinlichkeit, jeder Score oder jede Selbsteinschätzung kann eine Aktion absichern, solange die Absicherung existiert.

So wird es angewendet

• Jeder geschlossenen Entscheidung eine explizite Option «keines davon» oder «nicht feststellbar» hinzufügen, sodass eine schlechte Passung eine Antwort ist statt einer erzwungenen Wahl.
• Eine Untergrenze für die Konfidenz oder Wahrscheinlichkeit setzen, unter der der Agent nicht handelt, und pro Aktion eigene Schwellenwerte festlegen, die mit den Kosten einer falschen Aktion steigen.
• Vor dem Einschalten der Automatisierung festlegen, wohin enthaltene Fälle gehen: eine Prüfwarteschlange, eine Bestätigungsabfrage, eine Rückfallregel. Eine Enthaltung ohne Ziel ist ein stilles Verwerfen.
• Enthaltungen im Monitoring als eigenes Ergebnis zählen; eine steigende Enthaltungsrate ist ein Frühsignal für Drift oder eine neue Art von Eingabe.
• Für die eigenen Schritte eines Agenten «ich weiss nicht genug, um dies sicher zu tun» als legitimen Abschlusszustand behandeln und so melden, zusammen mit dem, was ihn auflösen würde.

Stolpersteine

Einmal gesetzte und nie überprüfte Schwellenwerte werden entweder zu einem weit offenen Tor oder zu einer Warteschlange, die niemand liest; beides ist messbar und beides kommt häufig vor. Enthaltung, die bestraft wird (ein Agent, der nur nach abgeschlossenen Aufgaben beurteilt wird, ein Klassifikator, der nur nach Abdeckung beurteilt wird), wird in der Praxis wegtrainiert. Und Enthaltung ist nicht kostenlos: Die Person oder das System, das den Fall übernimmt, zahlt dafür, also sollte die Absicherung an diesen Kosten austariert werden, nicht nur an den Kosten einer falschen Aktion.