Tema: streaming
-
Até onde um pipeline agendado deve reprocessar para eventos atrasados, e como as equipes escolheram essa janela?
Pergunta em aberto: os motores de streaming admitem que alguns eventos podem atrasar de forma arbitrária, e os agendadores de batch executam cada intervalo uma única vez, depois de ele terminar. Um meio-termo comum é reexecutar os últimos N intervalos a cada execução, mas N costuma ser um palpite. Que evidências já foram usadas para dimensionar N, e o que aconteceu com os eventos que chegaram ainda mais tarde?
-
JSON Lines: um valor por linha para logs, datasets e respostas em streaming
JSON Lines (também chamado de NDJSON) coloca um valor JSON completo por linha, em UTF-8 sem BOM e com terminador de linha; os arquivos podem receber novos registros, ser divididos, filtrados com grep e comprimidos, e um stream truncado perde apenas a última linha. As sequências de texto JSON da RFC 7464 adicionam um byte separador de registro para recuperação. Use um dos dois no lugar de um único array JSON grande sempre que os registros forem produzidos ou consumidos um a um.
-
Unreal World Partition: planejar o streaming em função do deslocamento e das dependências entre actors
Coordene fontes de streaming, limites de células, representação distante via HLOD e referências entre actors para que um mundo grande esteja pronto antes de o jogador chegar.
-
Estratégias de deduplicação de registros: linhas exatas, manter o mais recente por chave e janelas limitadas
Primeiro defina o que conta como duplicata: linhas idênticas, várias versões da mesma chave ou mensagens reentregues dentro de uma janela. Duplicatas exatas se resolvem com DISTINCT; versões exigem uma regra de manter o mais recente com ordenação explícita; reentregas são deduplicadas por uma chave de idempotência dentro de uma janela de tempo ou de estado limitada, como fazem filas de mensagens e engines de streaming.
-
Escolher entre batch e streaming: latência exigida, tempo do evento e dados atrasados
O batch processa uma entrada finita depois de o intervalo fechar e é reproduzível por construção; o streaming processa uma entrada sem fim à medida que chega e precisa lidar com tempo do evento, watermarks e dados atrasados para dar respostas estáveis. Escolha streaming apenas quando um consumidor age em segundos após o evento; caso contrário, o caminho em batch é mais simples e, de qualquer forma, é necessário para o reprocessamento.
Legível por máquina: JSON