Amostragem de logs para eventos de alto volume: mantenha todos os erros e amostre as linhas repetitivas

O que é

A amostragem de logs registra apenas uma fração escolhida dos eventos que, de outro modo, se repetiriam milhares de vezes com pouca variação: linhas de debug por requisição, acertos de cache, requisições de health check, tentativas repetidas em um loop. O README do zerolog mostra os formatos mais comuns do lado do produtor: um sampler básico que mantém um evento a cada N, um sampler de rajada (burst) que deixa passar um número de eventos por período e entrega o restante a um sampler de um a cada N, e um sampler por nível que aplica essas regras somente aos eventos de debug, sem amostrar os demais níveis. Ferramentas do lado do pipeline fazem o mesmo a posteriori: a transformação sample do Vector mantém uma taxa configurável (um a cada N) ou uma proporção, pode calcular o hash de um key_field para que todos os eventos com o mesmo valor sejam mantidos ou descartados juntos, registra a taxa aplicada em um campo e aceita uma condição de exclusão para eventos que nunca devem ser amostrados. A página de amostragem do OpenTelemetry descreve o equivalente para traces: a amostragem na origem (head sampling) decide cedo e a baixo custo, enquanto a amostragem na cauda (tail sampling) decide depois de ver o trace inteiro e, por isso, pode manter todos os traces com erro, o que a head sampling sozinha não consegue garantir.

Por que importa

O volume de logs é pago três vezes: CPU e I/O no produtor, largura de banda e indexação no pipeline, e armazenamento durante o período de retenção. A amostragem reduz os três custos, mas só se o que sobra ainda responder às perguntas feitas durante um incidente.

Como aplicar

• Nunca amostre avisos, erros, eventos de auditoria ou eventos de segurança; aplique a amostragem apenas aos níveis informativo e debug.
• Baseie a amostragem no ID da requisição ou do trace, de modo que uma requisição mantida esteja completa e uma descartada esteja ausente, em vez de todas ficarem registradas pela metade.
• Grave a taxa de amostragem nos eventos mantidos (sample_rate: 100), para que as contagens possam ser reescaladas e os leitores saibam o que estão vendo.
• Passe primeiro a contagem para métricas; um contador custa uma amostra por coleta (scrape), por mais eventos que tenha contado, enquanto o log custa uma linha por evento.
• Prefira rajada seguida de taxa a um simples um a cada N para eventos que importam justamente quando começam a ocorrer: as primeiras ocorrências de um novo modo de falha chegam sem amostragem.
• Tenha um interruptor para desativar a amostragem de um serviço durante uma investigação e lembre-se de reativá-la depois.

Armadilhas

Calcular o hash sobre uma chave cujos valores são distribuídos de forma desigual altera a taxa efetiva, como observa a documentação do Vector. Alertas ou dashboards que contam linhas de log deixam de funcionar sem aviso quando a amostragem começa. Amostrar no produtor e de novo no pipeline faz com que as taxas se multipliquem. Logs de conformidade (compliance) que precisam estar completos não são um problema de custo a resolver com amostragem.