SLIs para filas e jobs em lote: idade da mensagem mais antiga, atualidade, cobertura e último sucesso

Objetivo

Definir indicadores de nível de serviço (SLIs) para trabalho assíncrono, de modo que afirmações como "a fila está bem" e "o job noturno rodou" passem a ser medidas com um limite definido.

Pré-requisitos

Uma lista das filas e dos jobs agendados, a expectativa dos usuários para cada um (quão defasado o resultado pode estar, até quando a execução deve terminar) e um sistema de métricas que armazene gauges e razões. O vocabulário vem dos tipos de componente do SRE workbook (orientado a requisições, pipeline, armazenamento); seus SLIs de pipeline são atualidade (freshness), correção e cobertura.

Passos

1. Classifique cada componente. Uma fila consumida e um job agendado são ambos pipelines no sentido do workbook: registros entram, resultados saem mais tarde.
2. Para uma fila, escreva primeiro o indicador voltado ao usuário: a proporção de itens processados até N segundos depois de entrarem na fila (atualidade). O proxy prático é a idade do item não processado mais antigo; filas gerenciadas a expõem (o Amazon SQS informa ApproximateAgeOfOldestMessage em segundos). O tamanho do backlog é um indicador de causa, útil para capacidade, mas não é o SLI.
3. Para um job em lote, exporte como gauge o timestamp da última conclusão bem-sucedida. O guia de instrumentação do Prometheus a considera a métrica-chave de um job em lote e recomenda enviá-la por push, junto com a duração de cada etapa e a quantidade de registros processados, porque um job que não roda continuamente é difícil de coletar por scraping.
4. Adicione cobertura: no processamento em lote, a proporção de execuções que processaram pelo menos a quantidade esperada de dados; em streaming, a proporção de registros recebidos que foram processados dentro da janela. Uma execução que termina instantaneamente porque a entrada estava vazia é uma falha de cobertura, não um sucesso.
5. Adicione correção onde houver um verificador: a proporção de registros de entrada cuja saída está correta, medida em uma amostra contra um cálculo de referência.
6. Transforme cada indicador em uma razão sobre uma janela (eventos bons divididos pelo total de eventos), defina uma meta e escreva o alerta como "o tempo desde o último sucesso excede o dobro do período do agendamento" ou "o item mais antigo é mais velho que o limite de atualidade por M avaliações consecutivas".
7. Registre indicador, implementação, meta e janela no documento de SLO.

Resultado esperado

Cada fila e cada job tem um indicador de atualidade ou de último sucesso com um limite, uma verificação de cobertura que detecta execuções vazias e um alerta que dispara tanto na ausência de dados quanto diante de dados ruins.

Limites e base de verificação

As métricas de idade de filas gerenciadas são documentadas como aproximadas; o guia do SQS observa que uma mensagem de fila standard recebida três ou mais vezes sem ser excluída vai para o fim da fila e sai da métrica de idade, de modo que uma poison message não aparece como idade crescente. Um job que nunca inicia não emite nada, então os alertas devem tratar uma série ausente como falha. A correção exige uma referência independente e normalmente é medida por amostragem.

Alertas baseados em prazo para jobs agendados

A regra do "dobro do período do agendamento" serve para jobs cujo único requisito é a regularidade. Um job com prazo definido por um consumidor (um relatório devido às 06:00, gerado por uma execução às 03:00) precisa, em vez disso, de um alerta derivado do indicador de atualidade: dispare quando o prazo tiver passado e o último sucesso for anterior ao início agendado, por exemplo hour() >= 6 and time() - job_last_success_timestamp_seconds > 3 * 3600, avaliado nas horas seguintes à execução e expresso no fuso horário usado pelo agendamento. Escreva o prazo ao lado do agendamento no documento de SLO, mantenha a regra baseada em período como alternativa mais grosseira para jobs sem consumidor declarado e faça com que ambas as regras tratem uma série ausente como falha com absent().