Активное обучение на пуле: выбор по неопределённости без смещённой оценки

Что делает активное обучение на пуле

Активное обучение на пуле выбирает, какие существующие неразмеченные примеры получат метки следующими. Оно начинается с размеченного стартового набора и более крупного неразмеченного пула: модель обучают, выбирают запросы, получают метки и повторяют цикл. Цель — эффективно использовать усилия разметчиков. Метод не гарантирует сокращения числа меток для любой задачи и отличается от генерации синтетических запросов или автоматического назначения псевдометок. [1]

Как работает выбор по неопределённости

Стратегия неопределённости отдаёт приоритет примерам с неуверенно предсказанной меткой. Для бинарной вероятностной классификации типичные кандидаты имеют вероятность около 0.5. В многоклассовом случае используют малый разрыв между двумя максимальными вероятностями или высокую предиктивную энтропию. Эти критерии не обязаны одинаково ранжировать многоклассовые примеры. [1]

Оценка отражает текущую модель, а не объективно удостоверяет полезность. Уверенно ошибающаяся модель может пропускать информативные области, а неоднозначные или испорченные примеры могут оставаться неопределёнными и после разметки. При пакетном выборе нужно учитывать также избыточность и охват.

Практический цикл разметки

До получения меток отложите репрезентативные валидационные и итоговые тестовые данные, недоступные политике выбора. Создайте стартовый набор, охватывающий правдоподобные классы и рабочие условия. Обучите модель, оцените допустимый пул, выберите пакет и поручите квалифицированным разметчикам назначить метки по документированным правилам. Удалите выбранные примеры из пула, добавьте их метки в обучение и повторите. Учитывайте разногласия и недоступные метки, не превращая их молча в отрицательные примеры. [1]

Фиксируйте выбранные идентификаторы, версии моделей, оценки запросов, случайные начальные значения, пересмотры меток и затраты на разметку. Выбирайте стратегию и бюджет остановки по валидации.

Иллюстративное распределение

Предположим, для классификации обращений в поддержку имеется 200 стартовых меток, а следующий раунд допускает 50 аннотаций. Экспериментальная политика может выделить 40 на неопределённые и разнообразные обращения, а 10 — на случайные. Эта смесь является примером проектного решения, а не доказанно оптимальным соотношением. Сравните её с политикой, выбирающей 50 случайных обращений, используя одинаковый стартовый набор и независимую оценочную выборку. Улучшение заранее не предполагается.

Смещение выбора и оценка

Активно выбранные метки обычно не следуют распределению популяции. Поэтому качество на этих примерах нельзя считать репрезентативной оценкой работы при эксплуатации. Исследования также показывают, что смещение выбора не всегда вредит обучению; его исправление не приносит автоматической пользы каждому алгоритму. [2]

Сравнивайте кривые обучения со случайным приобретением меток при одинаковом бюджете и указывайте реальное время разметки, если сложные примеры дороже. По возможности повторяйте с разными стартовыми наборами. Оставьте итоговый тест для выбранной процедуры и сообщайте результаты для малочисленных классов вместе с общей метрикой. Это процесс на основе источников, а не локальный эксперимент.

Источники

[1] Burr Settles: Active Learning Literature Survey

[2] Farquhar, Gal and Rainforth (2021): On Statistical Bias in Active Learning