Confident Learning: аудит качества меток с адресной проверкой

Определение

Confident Learning — подход к выявлению шумных меток классификации и обучению с ними. Он оценивает связь наблюдаемых меток с неизвестными истинными метками, используя модель шума, условного по классу. В аудите результат задаёт приоритет проверки примеров; отмеченный пример не становится автоматически подтверждённой ошибкой аннотации. [1]

Принцип работы

Детектор объединяет записанную метку примера с предсказанными моделью вероятностями всех классов. Confident Learning использует зависящие от класса пороги уверенности, чтобы оценить вероятные смешения меток и найти подозрительные примеры. Теоретические гарантии требуют указанных предположений.

Cleanlab рекомендует вероятности для примеров вне обучающей выборки, обычно полученные кросс-валидацией, и позволяет ранжировать проблемы по качеству меток. Порядок столбцов вероятностей должен совпадать с кодировкой классов. Прогнозы на обучающих примерах могут скрывать ошибки, которые модель запомнила. [2]

Практический порядок действий

1. Версионируйте данные, определения меток и соответствие классов столбцам.
2. Получайте вероятности без обучения на оцениваемом примере; учитывайте группы сущностей и временные ограничения.
3. Ранжируйте кандидатов и выделите бюджет проверки, включив несколько неотмеченных примеров для сравнения.
4. Проверяющие должны применять правила аннотации и записывать исходную метку, решение, исправление при наличии и причину.
5. Переобучайте после документирования принятых изменений; оценивайте на отдельно управляемой тестовой выборке.

Сохраняйте неоднозначные и сложные примеры до выяснения их статуса. Удаление всех несогласий модели может исключить корректные случаи.

Иллюстративный пример

Иллюстративный пример, не измеренный аудит: обращение в поддержку отмечено как вопрос оплаты. Модель даёт вероятности 0,08 для оплаты, 0,86 для доступа к аккаунту и 0,06 для программных дефектов. Клиент пишет, что не может войти, чтобы посмотреть счёт.

Это полезный кандидат для проверки, но правильная метка зависит от того, отражает ли классификация ближайшее препятствие или конечную цель клиента. Проверяющий может исправить метку, оставить её или запросить более ясные правила. Проверка пятидесяти первых обращений — решение о нагрузке, а не утверждение о пятидесяти найденных истинных ошибках.

Ограничения и оценка

Слабость модели, пересечение классов и редкие корректные случаи могут вызывать несогласие. Предположение о шуме, условном по классу, может нарушаться, если ошибки сильно зависят от входа внутри каждого класса. [1]

Сообщайте числа проверенных, подтверждённых, отклонённых и неоднозначных кандидатов. Проверка только верхней части рейтинга не определяет частоту ошибок во всём наборе. Сохраняйте прослеживаемость исправлений и не очищайте бенчмарк многократно в пользу оцениваемой модели. Локальный аудит меток и обучающий эксперимент здесь не заявляются.

Источники

[1] Confident Learning: Estimating Uncertainty in Dataset Labels [2] Cleanlab: Label-issue detection and filtering