Utility AI: como tornar as pontuações de ações comparáveis e as decisões estáveis

Dê um significado de projeto a cada pontuação

Utility AI avalia ações candidatas por meio de preferências numéricas. Uma curva de resposta converte uma grandeza do mundo, como cansaço ou distância, em uma pontuação com significado para uma decisão específica. Um valor entre zero e um não é automaticamente uma probabilidade, e a normalização também não torna comparáveis ações sem relação entre si. Graham explica a abordagem de pontuação; Lewis mostra como cada consideração individual molda o comportamento no jogo. [1][2]

Separe permissão de preferência

Rejeite as ações indisponíveis antes de comparar as desejáveis. Uma ação de reparo que exige uma ferramenta ausente não deve vencer só porque a urgência é alta. Defina se a combinação de pontuações é compensatória: uma soma ponderada permite que um fator forte compense um fraco, enquanto na multiplicação um fator zero é decisivo. A multiplicação também muda a escala à medida que mais fatores são adicionados. A regra de agregação é uma decisão de projeto que precisa ser testada, e não escondida dentro de uma função auxiliar genérica de pontuação.

Exemplo prático: uma pequena vantagem não precisa provocar uma troca

Considere um robô de manutenção ilustrativo. A urgência do reparo é 0.8 e a conveniência é 0.4. A pontuação de reparo é 0.6 * 0.8 + 0.4 * 0.4 = 0.64. A pontuação de descanso é 0.70.

O robô já está fazendo o reparo. Com uma margem de troca de 0.08, o desafiante precisa superar 0.72, então o robô continua. Se mais tarde o descanso chegar a 0.80, ele troca no próximo ponto de interrupção permitido. Se o reparo se tornar inválido, a margem não pode mantê-lo em execução. Essas pontuações inventadas ilustram uma política; elas não estabelecem uma personalidade ideal para o robô nem uma preferência medida dos jogadores.

Inspecione a superfície de decisão

Crie um pequeno inspetor de decisões que mostre as entradas brutas, as saídas das curvas, a elegibilidade, as pontuações combinadas e o motivo de uma troca. Varie uma entrada enquanto mantém as demais fixas. Depois inspecione combinações: cansaço alto com urgência alta, trabalho distante com descanso por perto, ou nenhuma ação disponível. Decida o que o comportamento de contingência faz quando todos os candidatos são rejeitados.

Trace os limiares junto com séries de entrada ruidosas. Verifique se a histerese reduz trocas inúteis sem prender o agente em uma ação ruim. Especifique as interrupções de emergência separadamente das mudanças de preferência comuns. Registre há quanto tempo uma ação está em execução e se ela pode ser interrompida naquele momento; uma política de seleção não torna válida uma interrupção insegura. Guarde as situações capturadas para que edições posteriores nas curvas possam ser comparadas com as mesmas entradas.

Limite o custo de avaliação e a complexidade do modelo

Pontue apenas os candidatos cujas informações estão disponíveis no momento da decisão e meça as consultas espaciais caras separadamente da aritmética das curvas. Use cache com regras explícitas de atualização. Considerações quase idênticas podem contar a mesma motivação várias vezes, e conjuntos de ações com escalas diferentes podem introduzir um viés acidental. Prefira um modelo pequeno e explicável antes de acrescentar mais curvas; uma pontuação opaca é difícil de ajustar mesmo quando a aritmética está correta.

Fontes

• [1] An Introduction to Utility Theory — David “Rez” Graham, Game AI Pro.
• [2] Choosing Effective Utility-Based Considerations — Mike Lewis, Game AI Pro 3.