Дистилляция знаний: перенос полезных предсказаний от учителя к ученику

Определение

Дистилляция знаний использует модель-учителя для обучения ученика. Ученик часто меньше, но определяющий признак — дополнительный обучающий сигнал, а не размер. В классической дистилляции классификации учитель предоставляет распределение по классам вместо одной победившей метки, раскрывая отношения между альтернативами. [1]

Принцип работы

Разделите логиты учителя и ученика на температуру T перед softmax. Более высокая температура смягчает распределения. Распространённая цель: L = (1-alpha)*CE(y, p_s) + alpha*T^2*KL(p_t(T) || p_s(T)). В слагаемом с метками p_s использует температуру 1; дистилляция сравнивает модели при одном T. Alpha управляет относительным весом. Умножение на квадрат T приблизительно компенсирует температурное масштабирование градиентов, но не гарантирует одинаковое поведение при всех температурах. [1][2]

Практический порядок действий

Разделите данные на обучение, валидацию и тест. Учитель не должен переносить информацию из теста в обучение ученика. Зафиксируйте учителя, используйте режим оценки для обычной офлайн-дистилляции и не сохраняйте его градиенты. Подавайте обоим моделям соответствующие входы с согласованным порядком классов. [2]

Обучите базового ученика только по меткам, затем подберите температуру и веса потерь на валидации. Реализуйте KL согласно требованиям библиотеки к вероятностям или логарифмам вероятностей и документируйте агрегацию по классам и примерам. Не используйте итоговый тест до завершения выбора. Запишите версию учителя, предобработку, данные переноса и архитектуру ученика.

Наглядный пример

Условный учитель для обращений назначает доставке 0.70, возврату 0.25, аккаунту 0.05. Жёсткая метка «доставка» скрывает различие между альтернативами, а распределение показывает, что возврат — более близкая конкурирующая трактовка. Ученик может освоить эту структуру вместе с правильной меткой. Числа иллюстрируют идею, а не качество или конкретное преобразование температуры.

Ограничения и проверка

Учитель способен передавать ошибки и смещения. Очень маленькому ученику может не хватить ёмкости для полезных различий, а смена предметной области способна сделать уверенные ответы учителя ошибочными. Совпадение распределений само по себе не доказывает улучшения решения задачи. [1][2] Разные пространства меток или словари токенов требуют явного согласования; простая поклассовая цель автоматически не переносится.

Сравните дистиллированного ученика, ученика только по меткам и учителя по независимым метрикам, значимым подгруппам, задержке и памяти. Оценивайте предобработку и ответы в эксплуатации, а не только обучающую потерю. Локальная дистилляция и бенчмарк сжатия для этой статьи не проводились.

Источники

[1] Hinton, Vinyals and Dean: Distilling the Knowledge in a Neural Network [2] PyTorch: Knowledge Distillation Tutorial