Utility AI: сопоставимые оценки действий и устойчивые решения

Придайте каждой оценке проектный смысл

Utility AI оценивает возможные действия через числовые предпочтения. Кривая отклика преобразует величину мира, например усталость или расстояние, в оценку, значимую для конкретного решения. Значение между нулём и единицей не становится вероятностью автоматически, а нормализация сама по себе не делает несвязанные действия сопоставимыми. Грэм объясняет подход к оцениванию, Льюис показывает влияние отдельных критериев на игровое поведение. [1][2]

Разделяйте разрешение и предпочтение

Исключайте недоступные действия до сравнения желательных. Ремонт, требующий отсутствующего инструмента, не должен побеждать из-за высокой срочности. Определите, допускает ли объединение компенсацию: взвешенная сумма позволяет сильному фактору перекрыть слабый, а при умножении нулевой фактор становится решающим. Умножение также меняет масштаб при добавлении факторов. Правило объединения — проектное решение, которое нужно проверить, а не скрыть внутри универсальной функции оценки.

Расчётный пример: небольшое преимущество не обязательно вызывает переключение

Рассмотрим условного ремонтного робота. Срочность ремонта равна 0.8, удобство — 0.4. Оценка ремонта составляет 0.6 * 0.8 + 0.4 * 0.4 = 0.64. Отдых получает 0.70.

Робот уже ремонтирует. При запасе для переключения 0.08 претендент должен превысить 0.72, поэтому робот продолжает работу. Если отдых позже достигнет 0.80, переключение произойдёт в ближайшей разрешённой точке прерывания. Если ремонт становится недопустимым, запас не должен удерживать его в работе. Эти придуманные оценки показывают правило, а не доказывают оптимальность характера робота или измеренные предпочтения игроков.

Исследуйте пространство решений

Создайте небольшой инспектор решений с исходными входами, выходами кривых, допустимостью, итоговыми оценками и причиной переключения. Изменяйте один вход, сохраняя остальные. Затем исследуйте сочетания: сильную усталость с высокой срочностью, далёкую работу с близким местом отдыха или отсутствие доступных действий. Определите запасное поведение, если все кандидаты исключены.

Показывайте пороги рядом с зашумлёнными входными сигналами. Проверьте, уменьшает ли гистерезис бессмысленные переключения, не удерживая агента в плохом действии. Задайте аварийные прерывания отдельно от обычных изменений предпочтений. Записывайте длительность текущего действия и возможность его остановки в данный момент; правило выбора не делает небезопасное прерывание допустимым. Сохраняйте записанные ситуации, чтобы сравнивать последующие изменения кривых на одинаковых входах.

Ограничивайте стоимость вычислений и сложность модели

Оценивайте только кандидатов, информация о которых доступна в момент решения, и измеряйте дорогие пространственные запросы отдельно от арифметики кривых. Кэшируйте с явными правилами актуальности. Почти одинаковые критерии могут многократно учитывать одну мотивацию, а наборы действий с разными масштабами — создавать случайный перекос. Начните с небольшой объяснимой модели, прежде чем добавлять кривые: непрозрачную оценку трудно настраивать даже при правильной арифметике.

Источники

• [1] An Introduction to Utility Theory — David “Rez” Graham, Game AI Pro.
• [2] Choosing Effective Utility-Based Considerations — Mike Lewis, Game AI Pro 3.