Établir une référence avant d’entraîner le premier modèle

Objectif

Savoir, avec la métrique du projet et sur ses propres données réservées à l’évaluation, ce que l’on obtient sans modèle, afin de mesurer l’apport de chaque modèle ultérieur et de repérer avant sa livraison un modèle qui n’apporte rien.

Prérequis

Un découpage fixe des données (voir les jeux d’entraînement, de validation et de test), une métrique choisie dont le seuil ou la règle de calcul de moyenne est consigné, et l’accès au mécanisme qui prend actuellement la décision : règle, table de correspondance, processus humain ou rien.

Étapes

1. Exécuter un prédicteur trivial. DummyClassifier et DummyRegressor de scikit-learn ignorent les caractéristiques et prédisent, par exemple, la classe la plus fréquente, une classe tirée selon la distribution a priori empirique des classes, ou la moyenne ou la médiane de la cible ; l’API décrit le classificateur comme une référence simple. L’évaluer sur la partition de validation avec la métrique retenue.
2. Écrire une règle d’une ligne issue de la connaissance du domaine (un seuil sur une colonne, "same as last time", la valeur la plus récente). L’évaluer de la même manière. Le guide Rules of Machine Learning de Google conseille de ne pas craindre de lancer un produit sans apprentissage automatique, indique qu’une heuristique permet de couvrir une partie du besoin et recommande de garder le premier modèle simple pendant la mise au point de l’infrastructure.
3. Si un processus existe déjà, évaluer ses décisions historiques sur les mêmes lignes, afin de comparer le modèle à ce qu’il remplacerait plutôt qu’à zéro.
4. Ajuster le modèle d’apprentissage le plus simple adapté aux données (modèle linéaire ou logistique régularisé, petit arbre) avec les réglages par défaut. L’évaluer.
5. Consigner les quatre résultats avec l’identifiant du découpage, la définition de la métrique, la date et le commit du code dans le carnet du projet avant d’aborder un modèle plus complexe.
6. Présenter chaque modèle ultérieur par son écart à la meilleure référence, avec un intervalle, et conserver les lignes de référence dans tous les tableaux de résultats.

Résultat attendu

Un tableau court qui répond à tout moment du projet à la question de l’apport de l’apprentissage, et un arrêt précoce pour les problèmes où une règle suffit ou pour lesquels les données ne contiennent aucun signal.

Limites et base de vérification

La référence ne dit rien sur la pertinence de la métrique ; ce choix la précède. Une règle très performante peut signaler une fuite de données plutôt qu’un problème résolu. Il s’agit d’un protocole proposé ; les sources documentent les outils et les conseils généraux, pas les résultats de l’application du protocole.