Инкрементальное обучение с partial_fit: стабильные признаки, список классов и корректная оценка

Возможности метода

Инкрементальное обучение обновляет уже существующую модель последовательными пакетами данных. Оно подходит для архива, превышающего объём оперативной памяти, или потока, метки которого поступают постепенно. Системе обучения вне основной памяти всё равно нужны чтение данных, согласованное представление признаков и алгоритм с поддержкой инкрементальных обновлений. Сам по себе небольшой пакет не делает произвольный алгоритм инкрементальным. [1]

Правила обновления

У SGDClassifier вызов partial_fit выполняет одну эпоху обучения на переданном пакете. Один вызов не гарантирует сходимости. При первом вызове параметр classes должен содержать все предусмотренные классы, даже если в пакете представлены только некоторые. Последующие вызовы должны сохранять размерность признаков и смысл меток. Повторный fit — другая операция: даже с warm_start счётчик, определяющий темп обучения, ведёт себя иначе. [2]

Практический вариант фиксирует словарь признаков или использует хеширование без состояния. Если численная предобработка меняется во время работы, коэффициенты модели и преобразованные координаты признаков должны оставаться согласованными. Независимое обновление масштабирования не является автоматически корректной стратегией адаптации. Это практическое следствие требования сохранять смысл входных данных модели.

Иллюстративный пример

Архив содержит 100000 обращений в поддержку, обрабатываемых пакетами по 2000, с тремя заранее заданными метками: оплата, технический вопрос и общий вопрос. Хеширующий векторизатор фиксированной размерности отображает каждый пакет в одно пространство признаков. В первом пакете могут присутствовать только оплата и технические вопросы, но при инициализации указывают все три класса. Пятьдесят пакетов составляют один проход по архиву; это не доказывает точность модели или завершённость оптимизации.

Оценка и эксплуатация

Для живого потока каждый прогноз сохраняют вместе с версией модели до использования соответствующей метки для обновления. Когда метка поступает, сначала оценивают сохранённый прогноз, затем обучают модель на примере. Такой предлагаемый протокол не позволяет измерять прогноз после того, как модель уже выучила ответ.

Решения о выпуске опираются на независимую оценочную выборку или документированный временной протокол. Порядок пакетов, конфигурацию признаков, настройки оптимизатора, определения классов и контрольные точки записывают, чтобы расследовать подозрительное обновление.

Ограничения и сбои

Инкрементальные обновления не обнаруживают автоматически дрейф концепции, не поддерживают автоматически действительно новый целевой класс и не гарантируют качество на старых случаях. Уменьшающийся темп обучения может ослаблять адаптацию к поздним примерам. [1, 2] Недавние и исторические срезы следует оценивать отдельно. Ошибочные метки, повторные пакеты и изменение смысла признаков могут повредить модели даже при успешном вызове. Здесь не сообщается об экспериментальном обучении или измерении пропускной способности.

Источники

[1] Strategies to scale computationally: bigger data

[2] SGDClassifier