Utility AI: cómo hacer comparables las puntuaciones de las acciones y lograr decisiones estables

Da a cada puntuación un significado de diseño

La IA de utilidad (Utility AI) evalúa las acciones candidatas mediante preferencias numéricas. Una curva de respuesta traduce una magnitud del mundo, como la fatiga o la distancia, en una puntuación con sentido para una decisión concreta. Un valor entre cero y uno no es automáticamente una probabilidad, ni la normalización hace comparables acciones que no guardan relación entre sí. Graham explica el enfoque de puntuación; Lewis muestra cómo las consideraciones individuales moldean el comportamiento en los juegos. [1][2]

Separa la elegibilidad de la preferencia

Descarta las acciones no disponibles antes de comparar las deseables. Una acción de reparación que requiere una herramienta ausente no debería ganar solo porque la urgencia sea alta. Define si una combinación de puntuaciones es compensatoria: una suma ponderada permite que un factor fuerte compense uno débil, mientras que la multiplicación hace decisivo un factor igual a cero. La multiplicación también cambia la escala a medida que se añaden factores. La regla de agregación es una decisión de diseño que hay que probar, no esconder dentro de una función genérica de puntuación.

Ejemplo práctico: una ventaja pequeña no tiene por qué provocar un cambio

Considera un robot de mantenimiento ilustrativo. La urgencia de reparación es 0.8 y la conveniencia es 0.4. Su puntuación de reparación es 0.6 * 0.8 + 0.4 * 0.4 = 0.64. Descansar puntúa 0.70.

El robot ya está reparando. Con un margen de cambio de 0.08, un candidato debe superar 0.72, así que el robot continúa. Si más adelante descansar llega a 0.80, el robot cambia en el siguiente punto de interrupción permitido. Si la reparación deja de ser válida, el margen no debe mantenerlo en ejecución. Estas puntuaciones inventadas ilustran una política; no establecen una personalidad óptima del robot ni una preferencia medida de los jugadores.

Inspecciona la superficie de decisión

Crea un pequeño inspector de decisiones que muestre las entradas sin procesar, las salidas de las curvas, la elegibilidad, las puntuaciones combinadas y el motivo de un cambio. Barre una entrada manteniendo fijas las demás. Después inspecciona combinaciones: fatiga alta con urgencia alta, trabajo lejano con descanso cercano, o ninguna acción disponible. Decide qué hace el comportamiento de reserva cuando se rechazan todos los candidatos.

Representa gráficamente los umbrales junto con trazas de entrada ruidosas. Comprueba que la histéresis reduce los cambios inútiles sin atrapar a un agente en una mala acción. Especifica las interrupciones de emergencia por separado de los cambios de preferencia ordinarios. Registra cuánto tiempo lleva en ejecución una acción y si puede detenerse en ese momento; una política de selección no puede hacer válida una interrupción insegura. Conserva las situaciones capturadas para poder comparar ediciones posteriores de las curvas con las mismas entradas.

Acota el coste de evaluación y la complejidad del modelo

Puntúa solo los candidatos cuya información está disponible en el momento de la decisión, y mide las consultas espaciales costosas por separado de la aritmética de las curvas. Usa cache con reglas de frescura explícitas. Consideraciones casi idénticas pueden contar varias veces la misma motivación, y los conjuntos de acciones con escalas distintas pueden introducir un sesgo accidental. Prefiere un modelo pequeño y explicable antes de añadir más curvas; una puntuación opaca es difícil de ajustar incluso cuando la aritmética es correcta.

Fuentes

• [1] An Introduction to Utility Theory — David “Rez” Graham, Game AI Pro.
• [2] Choosing Effective Utility-Based Considerations — Mike Lewis, Game AI Pro 3.