Глубокие ансамбли: предиктивная неопределённость и общие слепые зоны

Определение

Глубокий ансамбль объединяет прогнозы нескольких нейронных сетей, обученных отдельно. Разные случайные инициализации и порядки обучения могут дать разные модели даже на одном наборе данных. Усреднение прогнозов может улучшить оценку неопределённости, но согласие участников не удостоверяет правильность ответа. [1]

Принцип работы

В классификации усредняют вероятности классов, а не просто подсчитывают победившие метки. В вероятностной регрессии каждый участник может предсказывать среднее mu_m и дисперсию v_m. Среднее смеси равно среднему mu_m; дисперсия — среднему (v_m + квадрат mu_m) минус квадрат среднего ансамбля.

Так разделяются средняя внутримодельная дисперсия и вариация предсказанных средних. Исходный метод допускает обучение каждого участника на всём наборе; бутстрэп-перевыборка не обязательна. [1]

Практический порядок действий

1. Выберите число участников исходя из измеренного бюджета обучения, памяти и задержки.
2. Обучайте их отдельно с записанными случайными начальными значениями и общим версионируемым протоколом данных.
3. Сохраняйте артефакты участников и правило объединения как одну развёртываемую версию.
4. Оценивайте объединённые прогнозы на нетронутых данных и правдоподобных сдвигах эксплуатации; сравнивайте с одной базовой моделью.

В классификации изучайте log loss, оценку Брайера и калибровку. В регрессии проверяйте остатки и заявляемое покрытие интервалов. Если неопределённость определяет отказ от ответа, измеряйте ошибки в зависимости от доли оставленных случаев. Это план эксплуатационной оценки, а не автоматическое свойство ансамбля.

Иллюстративный пример

Иллюстративный расчёт, не результат обучения: три регрессора предсказывают средние 10, 12 и 14 единиц, каждый с дисперсией 4 квадратных единицы. Среднее ансамбля равно 12. Средняя внутримодельная дисперсия равна 4, а дисперсия между средними — (4 + 0 + 4) / 3 = 8/3. Полная дисперсия смеси равна 20/3, приблизительно 6,67 квадратной единицы.

Здесь используется дисперсия конечной смеси, а не оценка выборочной дисперсии со знаменателем два. Сам расчёт не устанавливает откалиброванный предиктивный интервал.

Ограничения и оценка

Участники могут иметь одинаковые отсутствующие признаки, смещения обучения или слепые зоны. Их разногласие отражает лишь вариацию, представленную выбранным ансамблем, а не всю неопределённость. Независимые запуски обучения не делают общие обучающие наблюдения независимыми.

В цитируемом бенчмарке сдвигов ансамбли показали полезные результаты, но качество неопределённости всё равно ухудшалось при усилении сдвигов. [2] Оценивайте каждое внедрение, не считая малое разногласие признаком знакомого или безопасного входа. Учитывайте дополнительный расчёт и хранение и документируйте сокращённый состав ансамбля в эксплуатации. Локальные результаты обучения или бенчмарка здесь не заявляются.

Источники

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift