Estabelecer uma linha de base antes de treinar o primeiro modelo

Objetivo

Saber, na métrica do próprio projeto e nos dados de validação reservados do próprio projeto, o que "nenhum modelo" consegue alcançar, de modo que o valor de cada modelo posterior seja mensurável e um modelo que não agrega nada seja identificado antes de ser entregue.

Pré-requisitos

Uma divisão fixa dos dados (veja conjuntos de treino, validação e teste), uma métrica escolhida com o limiar ou a regra de média documentados por escrito, e acesso ao que hoje toma a decisão: uma regra, uma tabela de consulta, um processo humano ou nada.

Passos

1. Execute um preditor trivial. O DummyClassifier e o DummyRegressor do scikit-learn ignoram as features e preveem, por exemplo, a classe mais frequente, uma classe sorteada a partir da distribuição empírica das classes (prior) ou a média ou a mediana do alvo; a documentação da API descreve o classificador como uma linha de base simples. Calcule o desempenho dele na divisão de validação usando a métrica real.
2. Escreva uma regra de uma linha a partir do conhecimento do domínio (um limiar sobre uma coluna, "igual à última vez", o valor mais recente). Avalie-a da mesma forma. O guia Rules of Machine Learning, do Google, diz para não ter medo de lançar um produto sem aprendizado de máquina, que uma heurística resolve parte do problema e que o primeiro modelo deve ser simples, enquanto se acerta a infraestrutura.
3. Se já existe um processo, avalie as decisões históricas dele nas mesmas linhas, de modo que o modelo seja comparado com aquilo que ele substituiria, e não com zero.
4. Ajuste o modelo de aprendizado mais simples adequado aos dados (um modelo linear ou logístico regularizado, uma árvore pequena) com as configurações padrão. Avalie-o.
5. Registre os quatro números, junto com o identificador da divisão, a definição da métrica, a data e o commit do código, no caderno do projeto antes de mexer em qualquer modelo maior.
6. Reporte cada modelo seguinte como um delta em relação à linha de base mais forte, com um intervalo, e mantenha as linhas da linha de base em todas as tabelas de resultados.

Resultado esperado

Uma tabela curta que responde, a qualquer momento do projeto, "quanto o aprendizado agrega?", e uma parada antecipada nos problemas em que uma regra basta ou em que os dados não carregam sinal.

Limites e base de verificação

A linha de base não diz nada sobre se a métrica é a adequada; essa decisão vem antes dela. Uma regra forte pode ser sinal de vazamento de dados (leakage), e não de um problema resolvido. Este é um protocolo proposto; as fontes documentam as ferramentas e o conselho geral, não resultados da aplicação do protocolo.