Deep Ensembles: prädiktive Unsicherheit und gemeinsame blinde Flecken

Definition

Ein Deep Ensemble kombiniert die Vorhersagen mehrerer separat trainierter neuronaler Netze. Unterschiedliche zufällige Initialisierungen und Trainingsreihenfolgen können selbst bei gleichem Datensatz zu verschiedenen angepassten Modellen führen. Das Mitteln ihrer Vorhersagen kann die Schätzungen der prädiktiven Unsicherheit verbessern. Übereinstimmung unter den Mitgliedern ist jedoch kein Nachweis für Korrektheit. [1]

Funktionsweise

Bei der Klassifikation werden die Klassenwahrscheinlichkeiten der Mitglieder gemittelt, statt lediglich die jeweils siegreichen Labels zu zählen. Bei der probabilistischen Regression kann jedes Mitglied einen Mittelwert mu_m und eine Varianz v_m vorhersagen. Der Mittelwert der Mischung ist der Durchschnitt der mu_m; ihre Varianz ist der Durchschnitt von (v_m + mu_m zum Quadrat) minus dem quadrierten Ensemble-Mittelwert.

Dadurch lassen sich die durchschnittliche Varianz innerhalb der Modelle und die Streuung zwischen den vorhergesagten Mittelwerten voneinander trennen. Beim ursprünglichen Deep-Ensemble-Verfahren kann jedes Mitglied auf dem vollständigen Datensatz trainiert werden; Bootstrap-Resampling ist nicht erforderlich. [1]

Praktisches Vorgehen

1. Die Anzahl der Mitglieder anhand eines gemessenen Budgets für Training, Speicher und Latenz festlegen.
2. Die Mitglieder separat trainieren, mit protokollierten Zufalls-Seeds und einem gemeinsamen, versionierten Datenprotokoll.
3. Die Artefakte der Mitglieder und die Aggregationsregel als eine gemeinsam auslieferbare Version speichern.
4. Die kombinierten Vorhersagen auf unberührten Daten und unter plausiblen Verschiebungen im Einsatz auswerten und mit einer Baseline aus einem einzelnen Modell vergleichen.

Bei der Klassifikation sind Log Loss, Brier Score und Reliability zu prüfen. Bei der Regression sind das Residuenverhalten und jede behauptete Intervallabdeckung zu beurteilen. Steuert die Unsicherheit eine Zurückweisung (Abstention), sind die Fehler gegen den Anteil der beibehaltenen Fälle zu messen. Dies ist als operativer Evaluationsplan zu verstehen, nicht als automatische Eigenschaft von Ensembles.

Anschauliches Beispiel

Beispielrechnung, kein Trainingsergebnis: Drei Regressionsmitglieder sagen die Mittelwerte 10, 12 und 14 Einheiten voraus, jeweils mit einer Varianz von 4 Einheiten zum Quadrat. Der Ensemble-Mittelwert beträgt 12. Die durchschnittliche Varianz innerhalb der Modelle ist 4, die Varianz zwischen den Mittelwerten der Mitglieder beträgt (4 + 0 + 4) / 3 = 8/3. Die gesamte Varianz der Mischung ist somit 20/3, also rund 6,67 Einheiten zum Quadrat.

Dabei wird die Varianz der endlichen Mischung verwendet, nicht der Stichprobenvarianz-Schätzer mit dem Nenner zwei. Die Rechnung allein belegt kein kalibriertes Vorhersageintervall.

Grenzen und Evaluation

Mitglieder können dieselben fehlenden Merkmale, Verzerrungen aus dem Training oder blinden Flecken teilen. Ihre Uneinigkeit bildet nur die Variation ab, die das gewählte Ensemble darstellt, nicht die gesamte Unsicherheit. Unabhängige Trainingsläufe machen die gemeinsamen Trainingsbeobachtungen nicht unabhängig.

Der zitierte Benchmark zu Verteilungsverschiebungen fand eine nützliche Leistung von Ensembles, doch die Qualität der Unsicherheit nahm bei stärkeren Verschiebungen dennoch ab. [2] Jeder Einsatz ist einzeln zu beurteilen, statt anzunehmen, geringe Uneinigkeit bedeute vertraute oder unbedenkliche Eingaben. Der zusätzliche Rechen- und Speicherbedarf ist einzuplanen, und ein im Produktivbetrieb verwendetes reduziertes Ensemble ist zu dokumentieren. Es wird kein lokales Trainings- oder Benchmark-Ergebnis behauptet.

Quellen

[1] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles [2] Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift