Характеризационные тесты: фиксация фактического поведения унаследованного кода

Цель

Создать страховочную сетку вокруг кода, задуманное поведение которого неизвестно или не документировано, чтобы его можно было рефакторить или заменять с уверенностью, что наблюдаемое поведение не изменилось.

Предварительные условия

Код можно вызвать из тестовой среды, при необходимости предварительно разорвав одну зависимость через точку подмены: параметр, переменную окружения или внедряемый взаимодействующий компонент. Входные данные можно получить из производственной среды или сконструировать; код допускает многократный запуск без вреда.

Шаги

1. Выберите единицу с чёткой границей — функцию, обработчик запроса или пакетное задание — и перечислите её входы и наблюдаемые выходы, включая побочные эффекты: записанные файлы, изменённые строки и отправленные сообщения.
2. Напишите тест с временным ожидаемым значением и запустите его. Физерс описывает подход, при котором сначала создают тест с именем x и произвольным ожидаемым значением, читают фактическое значение из ошибки проверки, вставляют его в тест, а затем переименовывают тест так, чтобы имя описывало поведение кода.
3. Повторите это для входов, достигающих других ветвей: пустых, граничных, некорректных, больших, с необычными кодировками. Используйте покрытие, чтобы найти ветви, до которых ещё не добрался ни один тест.
4. Для больших результатов сохраните сериализованный вывод в снимке или файле подтверждённого результата, скрыв изменчивые поля — временные метки и идентификаторы, — и включите файл в проверку изменений.
5. Записывайте неожиданности, не исправляя их. Мысль Физерса состоит в том, что цель — документировать фактическое поведение системы, а не желаемое: кто-то может полагаться на то, что выглядит ошибкой. Ведите список предполагаемых дефектов, решения по которым следует принимать вместе с владельцами системы.
6. Запускайте набор тестов до и после каждого шага рефакторинга. Любое изменение результата — либо ошибка, либо принятое решение; для решения создают задачу и обновляют тест так, чтобы его имя объясняло причину.
7. Когда задуманное поведение станет известно, уточните тесты до проверок спецификации и удалите характеризационные тесты, которые фиксировали лишь случайные особенности вывода.

Ожидаемый результат

Набор тестов, падающий при любом изменении наблюдаемого поведения, список предполагаемых дефектов с ответственными и возможность свободно перестраивать код.

Ограничения и основания проверки

Характеризационные тесты фиксируют случайные особенности поведения, например порядок и форматирование, поэтому падают при безвредных изменениях и требуют пересмотра. Они охватывают только те входы, о которых кто-то подумал; выборки производственных данных расширяют этот охват. Разрыв зависимостей ради доступа к коду — сложная часть работы, которая сама может потребовать небольших изменений без защитных тестов. Утверждений, основанных на измерениях, нет.