Eine Baseline festlegen, bevor das erste Modell trainiert wird

Ziel

In der eigenen Metrik und auf den eigenen zurückgehaltenen Daten des Projekts wissen, was „kein Modell“ erreicht, damit der Wert jedes späteren Modells messbar ist und ein Modell, das nichts beiträgt, erkannt wird, bevor es ausgeliefert wird.

Voraussetzungen

Ein fester Split (siehe Trainings-, Validierungs- und Testmenge), eine gewählte Metrik mit festgehaltenem Schwellenwert oder Mittelungsregel sowie Zugang zu dem, was aktuell die Entscheidung trifft: eine Regel, eine Nachschlagetabelle, ein menschlicher Prozess oder nichts.

Schritte

1. Einen trivialen Prädiktor laufen lassen. scikit-learns DummyClassifier und DummyRegressor ignorieren die Merkmale und sagen beispielsweise die häufigste Klasse, eine aus der empirischen Klassenverteilung gezogene Klasse oder den Mittelwert bzw. Median des Zielwerts voraus; die API-Beschreibung bezeichnet den Classifier als einfache Baseline. Auf dem Validierungssplit mit der echten Metrik bewerten.
2. Eine einzeilige Regel aus Fachwissen schreiben (ein Schwellenwert auf einer Spalte, „gleich wie letztes Mal“, der jüngste Wert). Gleich bewerten. Googles Rules of Machine Learning rät, sich nicht davor zu scheuen, ohne maschinelles Lernen zu starten, dass eine Heuristik einen Teil des Wegs zurücklegt und dass das erste Modell einfach sein sollte, während die Infrastruktur in Ordnung gebracht wird.
3. Existiert bereits ein Prozess, dessen historische Entscheidungen auf denselben Zeilen bewerten, damit das Modell mit dem verglichen wird, was es ersetzen würde, nicht mit null.
4. Das einfachste, für die Daten geeignete Lernmodell (ein regularisiertes lineares oder logistisches Modell, ein kleiner Baum) mit Standardeinstellungen anpassen. Bewerten.
5. Alle vier Zahlen mit Split-Kennung, Metrikdefinition, Datum und Code-Commit im Projektnotizbuch festhalten, bevor ein grösseres Modell angerührt wird.
6. Jedes nachfolgende Modell als Differenz zur stärksten Baseline mit einem Intervall berichten und die Baseline-Zeilen in jeder Ergebnistabelle behalten.

Erwartetes Ergebnis

Eine kurze Tabelle, die zu jedem Zeitpunkt im Projekt beantwortet, „wie viel bringt Lernen zusätzlich?“, sowie ein früher Ausstiegspunkt für Probleme, bei denen eine Regel genügt oder die Daten kein Signal tragen.

Grenzen und Prüfbasis

Die Baseline sagt nichts darüber aus, ob die Metrik die richtige ist; diese Entscheidung geht ihr voraus. Eine starke Regel kann ein Zeichen für Leakage in den Daten sein statt für ein gelöstes Problem. Dies ist ein vorgeschlagenes Protokoll; die Quellen dokumentieren die Werkzeuge und den allgemeinen Rat, nicht Ergebnisse aus der Anwendung des Protokolls.