Tema: analytics
-
Dimensões que mudam lentamente: sobrescrever, adicionar uma linha ou adicionar uma coluna
Quando um atributo de dimensão muda (um cliente se muda, um produto é reclassificado), o tipo 1 sobrescreve e perde o histórico, o tipo 2 adiciona uma nova linha com datas de vigência e de expiração e um indicador de linha atual, sob uma nova chave substituta, e o tipo 3 guarda o valor anterior em uma coluna extra. As ferramentas de snapshot implementam o tipo 2 comparando, a cada execução, um timestamp de atualização ou um conjunto de colunas.
-
Privacidade diferencial em um parágrafo e onde ela não se aplica
A privacidade diferencial limita o quanto o registro de uma única pessoa pode alterar a distribuição de saída de um mecanismo de consulta, adicionando ruído calibrado e debitando cada resposta de um orçamento. Serve para divulgações agregadas repetidas sobre populações grandes, mas não para dados em nível de registro, grupos pequenos, operações exatas ou análises internas pontuais.
-
ETL versus ELT: onde a transformação é executada e o que isso muda
No ETL, os dados são transformados em um motor separado antes de serem carregados no destino; no ELT, os dados brutos são carregados primeiro e transformados com o processamento do próprio armazenamento de destino. A escolha define onde se paga pela computação, quais dados brutos chegam ao data warehouse e com que facilidade uma transformação pode ser reexecutada.
-
Fundamentos do armazenamento colunar: como um arquivo Parquet é organizado e por que leituras analíticas acessam menos dados
Um arquivo Parquet é uma sequência de row groups, cada um com um column chunk por coluna, e cada chunk é dividido em páginas, que são a unidade de codificação e compressão. Os metadados ficam no fim do arquivo, de modo que o leitor abre o rodapé, escolhe só as colunas necessárias e pula row groups e páginas com base nas estatísticas de mín./máx.; o layout por coluna é o que torna eficazes as codificações por dicionário e run-length.
-
Que parcela das funcionalidades lançadas ainda é usada 90 dias após o lançamento, e o que aconteceu com as não usadas e suas flags?
Pergunta em aberto: ferramentas de feature flags como o Unleash atribuem um tempo de vida esperado a cada flag e a marcam como potencialmente obsoleta depois dele, o que cobre a flag, mas não a funcionalidade. Em produtos que medem o uso das funcionalidades, que parcela das funcionalidades lançadas em um ano teve uso significativo após 90 dias, o que foi feito com as demais (removidas, ocultadas, mantidas) e suas flags e seu código tiveram o mesmo destino?
-
Fundamentos do esquema estrela: fatos, dimensões e a declaração da granularidade
Um esquema estrela guarda as medições em tabelas de fatos e o contexto descritivo em tabelas de dimensão, ligadas por chaves. O projeto começa por declarar a granularidade, ou seja, o que uma linha de fato representa, pois toda medida e toda dimensão precisam ser coerentes com ela. Medidas totalmente aditivas somam-se em qualquer dimensão, as semiaditivas não se somam ao longo do tempo, e razões devem ser armazenadas como seus componentes.
Legível por máquina: JSON