Tema: evaluation
-
Estabelecer uma linha de base antes de treinar o primeiro modelo
Antes de executar qualquer algoritmo de aprendizado, registre o que um preditor trivial, uma regra simples e o processo atual alcançam na mesma divisão e com a mesma métrica; todo modelo posterior é reportado como diferença em relação a essa linha de base, e um modelo que não supera a regra não vai para produção.
-
Faça um canary de mudanças de comportamento antes do rollout
Exponha um grupo limitado a um novo comportamento, compare-o com uma linha de base e interrompa o processo com base em condições de falha declaradas de antemão.
-
Conjuntos de treino, validação e teste: para que serve cada divisão e como fazê-la
O modelo é ajustado no conjunto de treino, as escolhas entre modelos e hiperparâmetros são feitas no conjunto de validação (ou por validação cruzada), e o conjunto de teste só é usado uma vez, na estimativa final; a forma de atribuir as linhas a cada divisão (aleatória, estratificada, por grupo ou por tempo) determina se a estimativa diz algo sobre a produção.
-
Vazamento de dados em machine learning: como informações do futuro ou do conjunto de teste chegam ao modelo
Vazamento significa que o modelo é construído com informações que não estarão disponíveis no momento da previsão: pré-processamento ajustado em todas as linhas, features derivadas do alvo, linhas de uma mesma entidade nos dois lados da divisão ou dados temporais embaralhados. O resultado são métricas de validação otimistas e um modelo que decepciona em produção.
-
Suítes de testes de prompt injection preveem o comportamento de um agente diante de injeções escritas depois da suíte?
Agentes costumam ser avaliados com coleções fixas de tentativas de injeção. Não está claro quanto uma boa pontuação se transfere para novas formulações, novos vetores e atacantes adaptativos, nem o que uma suíte de testes precisaria conter para ter poder preditivo.
-
Aprendizado incremental com partial_fit: features estáveis, lista de classes e avaliação honesta
Estimadores incrementais atualizam um modelo a partir de lotes pequenos, sem carregar o conjunto de dados completo na memória. Um fluxo de trabalho confiável também preserva o significado das features, define o conjunto de classes e avalia as previsões antes de aprender com os resultados delas.
-
Indique as unidades junto a cada medição
Torne os registros de medição interpretáveis mantendo unidade, agregação e população ao lado de cada valor.
-
Lidar com desbalanceamento de classes: métricas primeiro, depois pesos, limiares e reamostragem dentro do pipeline
Quando uma classe é rara, a acurácia não informa nada e o modelo pode ignorar totalmente a minoria. Corrija primeiro a avaliação (divisões estratificadas, métricas por classe, acurácia balanceada); depois use pesos de classe ou um limiar ajustado, e aplique reamostragem como SMOTE apenas ao fold de treino, dentro do pipeline submetido à validação cruzada.
-
Escolher métricas de classificação: precisão, recall, F1, limiares e calibração
A acurácia esconde o que importa quando as classes são desbalanceadas ou os erros têm custos diferentes. Precisão e recall descrevem os dois tipos de erro, o F1 os combina, os scores independentes de limiar avaliam o ranqueamento e a calibração indica se uma probabilidade prevista de 0,8 corresponde a 80%. A métrica deve ser escolhida a partir da decisão que o modelo apoia, antes do treinamento.
-
Priorizar a atenção na revisão de código com o Jev sem diluir os bloqueios numa média
Use dimensões de revisão separadas para priorizar a atenção humana, mantendo verificações obrigatórias que nenhuma pontuação ponderada pode anular.
-
Overfitting e regularização em resumo: viés, variância e o parâmetro de penalização
Um modelo sofre overfitting quando aprende o ruído das linhas de treino e a pontuação de validação fica atrás da de treino; a regularização troca um pouco de ajuste por estabilidade, penalizando coeficientes grandes ou limitando a capacidade do modelo, e as curvas de aprendizado e de validação mostram de que lado do trade-off o modelo está.
-
Auditar o gerador de candidatos antes de avaliar a qualidade de seleção do Jev
Meça se a opção correta chegou a uma requisição de decisão antes de atribuir uma seleção errada ao modelo ou tentar corrigi-la com instruções mais enfáticas.
-
Validação cruzada aninhada: avaliando o processo de seleção de modelos
Use folds internas para o ajuste e folds externas para a avaliação, mantendo o pré-processamento dentro das folds e distinguindo o desempenho do procedimento do desempenho do modelo final ajustado.
-
Handoffs estruturados e limitados por esquema entre agentes reduzem o sucesso de injeções em comparação com handoffs em texto livre
Hipótese: quando um agente que lê conteúdo não confiável só pode repassar ao agente que age campos validados por esquema e com tamanho limitado, as instruções injetadas chegam ao agente executor com menos frequência do que quando ele repassa prosa livre.
-
Como avaliar uma funcionalidade de produto baseada em modelo de linguagem quando não existe uma única saída correta?
Pergunta em aberto: modelos de classificação têm rótulos e matriz de confusão, mas um sumarizador, um assistente ou uma etapa de extração que devolve texto livre não tem nenhum dos dois; a wiki não registra qual combinação de pequenos conjuntos rotulados, avaliação por rubrica feita por pessoas, avaliadores baseados em modelo e sinais de produção se sustentou ao longo de várias mudanças de modelo e de prompt, nem como se mediu a concordância entre avaliadores.
-
Federated averaging: treino local, ponderação de clientes e dados heterogêneos
O federated averaging combina atualizações de modelo calculadas em clientes separados. Seu comportamento depende do treino local, dos pesos de agregação e das diferenças entre clientes; manter os dados brutos locais não oferece, por si só, uma garantia formal de privacidade.
Legível por máquina: JSON