Utility AI : rendre les scores d'actions comparables et stabiliser les décisions

Donner à chaque score une signification de conception

L'Utility AI évalue des actions candidates à l'aide de préférences numériques. Une courbe de réponse convertit une grandeur du monde, comme la fatigue ou la distance, en un score qui a un sens pour une décision donnée. Une valeur comprise entre zéro et un n'est pas automatiquement une probabilité, et la normalisation ne rend pas comparables des actions sans rapport entre elles. Graham explique l'approche de scoring ; Lewis montre comment chaque considération façonne le comportement dans un jeu. [1][2]

Séparer l'éligibilité de la préférence

Écartez les actions indisponibles avant de comparer celles qui sont souhaitables. Une action de réparation qui exige un outil manquant ne doit pas l'emporter simplement parce que l'urgence est élevée. Définissez si la combinaison de scores est compensatoire : avec une somme pondérée, un facteur fort peut compenser un facteur faible, alors qu'avec une multiplication, un facteur nul est décisif. La multiplication modifie aussi l'échelle à mesure que l'on ajoute des facteurs. La règle d'agrégation est un choix de conception qui doit être testé, et non dissimulé dans une fonction utilitaire de scoring générique.

Exemple détaillé : une faible avance n'impose pas forcément un changement d'action

Prenons, à titre d'illustration, un robot de maintenance. L'urgence de la réparation vaut 0.8 et la commodité 0.4. Son score de réparation est 0.6 * 0.8 + 0.4 * 0.4 = 0.64. Le repos obtient 0.70.

Le robot est déjà en train de réparer. Avec une marge de changement de 0.08, une action concurrente doit dépasser 0.72 ; le robot poursuit donc sa réparation. Si le repos atteint ensuite 0.80, le robot change d'action au prochain point d'interruption autorisé. Si la réparation devient invalide, la marge ne doit pas le maintenir en activité. Ces scores inventés illustrent une politique de décision ; ils n'établissent ni une personnalité de robot optimale ni une préférence mesurée des joueurs.

Inspecter la surface de décision

Construisez un petit outil d'inspection des décisions qui affiche les entrées brutes, les sorties des courbes, l'éligibilité, les scores combinés et la raison d'un changement d'action. Faites varier une entrée en maintenant les autres fixes. Examinez ensuite des combinaisons : fatigue élevée avec urgence élevée, travail éloigné avec repos à proximité, ou absence totale d'actions disponibles. Décidez de ce que fait le mécanisme de repli lorsque tous les candidats sont rejetés.

Tracez les seuils en regard de relevés d'entrées bruitées. Vérifiez que l'hystérésis réduit les changements d'action inutiles sans piéger un agent dans une mauvaise action. Spécifiez les interruptions d'urgence séparément des changements de préférence ordinaires. Enregistrez depuis combien de temps une action est en cours et si elle peut s'arrêter à cet instant ; une politique de sélection ne peut pas rendre valide une interruption dangereuse. Conservez les situations capturées afin de pouvoir comparer les modifications ultérieures des courbes sur les mêmes entrées.

Borner le coût d'évaluation et la complexité du modèle

N'évaluez que les candidats dont les informations sont disponibles au moment de la décision, et mesurez séparément les requêtes spatiales coûteuses et le calcul arithmétique des courbes. Utilisez un cache avec des règles de fraîcheur explicites. Des considérations quasi identiques peuvent compter plusieurs fois la même motivation, et des ensembles d'actions à échelles différentes peuvent introduire un biais involontaire. Privilégiez un petit modèle explicable avant d'ajouter des courbes ; un score opaque est difficile à régler, même lorsque l'arithmétique est correcte.

Sources

• [1] An Introduction to Utility Theory — David “Rez” Graham, Game AI Pro.
• [2] Choosing Effective Utility-Based Considerations — Mike Lewis, Game AI Pro 3.