Автоматические тесты игр: проверки без интерфейса и доказательства корректной отрисовки

Выберите нужное свидетельство

Сборка игры может успешно запускаться, хотя миграция сохранения теряет инвентарь или шейдер неправильно рисует персонажа. Определите сбой, который должен обнаруживать каждый тест. Используйте узкие проверки правил, интеграционные проверки взаимодействия систем и визуальные проверки отрисовки. Система автоматизации Unreal различает модульные, функциональные, нагрузочные проверки контента и тесты снимков. [2] Успех одной категории не доказывает покрытие остальных.

Сделайте автономный запуск наблюдаемым

Командная строка Godot поддерживает запуск без интерфейса, скрипты проекта и импорт, ожидающий обработки ресурсов перед завершением. [1] Проект может использовать эти возможности для автономного тестового исполнителя. При нарушении проверяемого условия исполнитель должен возвращать код ошибки и сохранять структурированный отчёт.

Во время настройки проверьте путь ошибки на намеренно провальном тестовом случае. Иначе задание может выглядеть успешным лишь потому, что открыло пустой проект, проигнорировало неподдерживаемый параметр или не запустило нужные проверки. Успешный запуск без интерфейса сам по себе не подтверждает правильные пиксели на целевой GPU.

Разберите небольшой набор

Для условной игры с активными действиями выберите 20 узких тестов правил, четыре проверки сцен и три визуальных стенда. Правила могут проверять вместимость инвентаря и допустимость урона. Сцены — появление персонажа, восстановление контрольной точки, переход через дверь и управляемое отключение связи. Визуальные стенды могут содержать поверхность с картой нормалей, прозрачные частицы и границу тёмного и яркого освещения.

Независимо сбрасывайте каждый случай. Записывайте начальные значения генераторов, такты симуляции, версии ресурсов и значимые входные данные. Воспроизведение записи помогает повторять ошибки, но фиксированное начальное значение само по себе не гарантирует одинаковую симуляцию на разных платформах. Числа описывают предлагаемый набор, а не выполненные тесты реальной игры.

Контролируйте сравнение изображений

Закрепите камеру, разрешение, рендерер, экспозицию и момент снимка. Для нужной конфигурации отрисовки используйте задание с GPU. Инструмент Epic задаёт допуски каналов, локальные и глобальные пределы ошибки, поскольку некоторые методы отрисовки дают вариации. [3]

Сохраняйте вместе эталон, новое изображение и изображение различий. Малая глобальная ошибка может скрывать заметный локальный дефект, например отсутствующий глаз или значок интерфейса. Выбирайте пороги под искомый сбой и проверяйте обновления эталона как изменения контента. Автоматическая замена каждого не прошедшего сравнение эталона уничтожила бы свидетельство теста.

Сохраняйте полезность набора

Часто запускайте быстрые стабильные проверки, а дорогие проходы по платформам и контенту планируйте отдельно. Изолируйте создаваемые файлы и не рассчитывайте, что другой тест оставил мир в подходящем состоянии. [2] В отчётах разделяйте инфраструктурные ошибки и нарушения игровых проверок.

Исследуйте нестабильные тесты вместо общего увеличения тайм-аутов или визуальных допусков. Сохраняйте минимальную сцену и последовательность ввода, объясняющие сбой. Автоматизация обеспечивает повторяемую проверку; тестирование игроками по-прежнему даёт сведения об ощущениях, читаемости и ситуациях, не закодированных в наборе.

Источники

[1] Godot command line tutorial — Godot Engine contributors.

[2] Automation Test Framework — Epic Games.

[3] Screenshot Comparison Tool — Epic Games.