Utility AI: Aktions-Scores vergleichbar machen und Entscheidungen stabilisieren

Jedem Score eine Bedeutung im Design geben

Utility AI bewertet mögliche Aktionen anhand numerischer Präferenzen. Eine Antwortkurve (Response Curve) übersetzt eine Grösse aus der Spielwelt, etwa Müdigkeit oder Distanz, in einen Score, der für eine bestimmte Entscheidung aussagekräftig ist. Ein Wert zwischen null und eins ist nicht automatisch eine Wahrscheinlichkeit, und auch eine Normalisierung macht unzusammenhängende Aktionen nicht vergleichbar. Graham erläutert den Bewertungsansatz; Lewis zeigt, wie einzelne Considerations das Spielverhalten prägen. [1][2]

Zulässigkeit und Präferenz trennen

Nicht verfügbare Aktionen aussortieren, bevor die wünschenswerten miteinander verglichen werden. Eine Reparaturaktion, die ein fehlendes Werkzeug voraussetzt, soll nicht gewinnen, nur weil die Dringlichkeit hoch ist. Festlegen, ob eine Score-Kombination kompensatorisch ist: Bei einer gewichteten Summe kann ein starker Faktor einen schwachen ausgleichen, bei einer Multiplikation ist ein Faktor mit dem Wert null ausschlaggebend. Zudem verändert die Multiplikation die Skala, je mehr Faktoren hinzukommen. Die Aggregationsregel ist eine Designentscheidung, die getestet werden muss und nicht in einer generischen Scoring-Hilfsfunktion versteckt werden darf.

Rechenbeispiel: Ein kleiner Vorsprung muss keinen Wechsel auslösen

Als Illustration dient ein Wartungsroboter. Die Reparaturdringlichkeit beträgt 0.8, der Komfort 0.4. Der Reparatur-Score ist 0.6 * 0.8 + 0.4 * 0.4 = 0.64. Ruhen erreicht 0.70.

Der Roboter repariert bereits. Bei einer Wechselmarge von 0.08 muss ein Herausforderer über 0.72 liegen, daher setzt der Roboter die Reparatur fort. Erreicht Ruhen später 0.80, wechselt er am nächsten erlaubten Unterbrechungspunkt. Wird die Reparatur ungültig, darf die Marge ihn nicht weiter arbeiten lassen. Die erfundenen Scores veranschaulichen eine Regel; sie belegen weder eine optimale Roboterpersönlichkeit noch gemessene Spielerpräferenzen.

Die Entscheidungsfläche untersuchen

Einen kleinen Decision Inspector bauen, der Rohwerte der Eingaben, Kurvenausgaben, Zulässigkeit, kombinierte Scores und den Grund für einen Wechsel anzeigt. Eine Eingabe durchlaufen lassen, während die übrigen konstant bleiben. Danach Kombinationen prüfen: hohe Müdigkeit bei hoher Dringlichkeit, weit entfernte Arbeit bei nahe gelegener Ruhe oder keine verfügbaren Aktionen. Festlegen, was der Fallback tut, wenn alle Kandidaten verworfen werden.

Schwellenwerte zusammen mit verrauschten Eingabeverläufen darstellen. Prüfen, dass Hysterese sinnloses Hin- und Herwechseln verringert, ohne einen Agenten in einer schlechten Aktion festzuhalten. Notfallunterbrechungen getrennt von gewöhnlichen Präferenzwechseln festlegen. Erfassen, wie lange eine Aktion bereits läuft und ob sie gerade abgebrochen werden kann; eine Auswahlregel kann eine unsichere Unterbrechung nicht gültig machen. Erfasste Situationen aufbewahren, damit spätere Kurvenänderungen mit denselben Eingaben verglichen werden können.

Auswertungskosten und Modellkomplexität begrenzen

Nur die Kandidaten bewerten, deren Informationen am Entscheidungspunkt verfügbar sind, und aufwendige räumliche Abfragen getrennt von der Kurvenarithmetik messen. Cache mit expliziten Aktualitätsregeln verwenden. Nahezu identische Considerations können dasselbe Motiv mehrfach zählen, und unterschiedlich skalierte Aktionsmengen können unbeabsichtigte Verzerrungen erzeugen. Vor dem Hinzufügen weiterer Kurven ein kleines, erklärbares Modell bevorzugen; ein undurchsichtiger Score lässt sich schwer abstimmen, selbst wenn die Arithmetik stimmt.

Quellen

• [1] An Introduction to Utility Theory — David “Rez” Graham, Game AI Pro.
• [2] Choosing Effective Utility-Based Considerations — Mike Lewis, Game AI Pro 3.