Воспроизводимость эксперимента с машинным обучением: начальные значения, среда, данные и пределы детерминизма

Цель

Сделать запуск обучения повторяемым другим человеком или агентом в другой день до того же значения метрики, если платформа это позволяет, и явно указать все оставшиеся источники вариации.

Предварительные условия

Состояние кода, сохранённое коммитом, набор данных с контрольной суммой или идентификатором версии и lock-файл зависимостей среды обучения.

Шаги

1. Устраните все неявные состояния генераторов случайных чисел. Страница scikit-learn о типичных ошибках указывает, что для воспроизводимых результатов между запусками необходимо исключить все случаи использования значения по умолчанию random_state=None, и рекомендует объявить одно состояние генератора в начале программы и передавать его каждому оценивателю и объекту разбиения; задавать глобальное начальное значение NumPy она не советует. Для кода NumPy создайте Generator с помощью default_rng(seed), который справочник NumPy называет рекомендуемым конструктором, и аналогично передавайте этот генератор дальше вместо вызова функций генерации случайных чисел уровня модуля.
2. Для фреймворков глубокого обучения задайте начальное значение их генератора (torch.manual_seed) и включите детерминированные алгоритмы, если они доступны. В заметке PyTorch о воспроизводимости говорится, что полная воспроизводимость не гарантируется между выпусками, коммитами или платформами, что результаты на CPU и GPU могут различаться при одинаковых начальных значениях и что детерминированные операции часто медленнее; запишите, какие из этих настроек использовались.
3. Зафиксируйте данные: запишите контрольную сумму набора и идентификатор разбиения, а строки загружайте в определённом порядке, сортируя по стабильному ключу до разбиения.
4. Закрепите среду: lock-файл, версию Python, класс оборудования, а для GPU — версии драйвера и библиотек; создайте образ контейнера, если среда должна пережить машину.
5. Запишите конфигурацию — все гиперпараметры, начальные значения, пути и версии — в один файл, который запуск читает и копирует в свой выходной каталог.
6. Повторите эксперимент дважды из чистой рабочей копии на той же машине и один раз на другой; запишите, совпала ли метрика точно, в пределах допуска или не совпала, и какой шаг объясняет каждое различие.
7. Сохраните результаты вместе с конфигурацией и коммитом кода; представляйте вариацию результатов при разных начальных значениях интервалом, а не числом, полученным при одном начальном значении.

Ожидаемый результат

Каталог запуска, содержащий всё необходимое для его повторения, описание того, насколько точно он повторяется, и метрики, сравнимые между запусками благодаря одинаковым начальным значениям и данным.

Ограничения и основания для проверки

Детерминизм может снижать скорость и быть доступен не для каждой операции. Процитированная документация не обещает побитовой повторяемости на разном оборудовании. Протокол является предложением; никакая доля повторяемых запусков не заявляется.