sort, uniq e comm: operações de conjuntos em texto que dependem de entrada ordenada

O que é

O manual do coreutils agrupa estes comandos sob o tema "operating on sorted files" (operações sobre arquivos ordenados). O sort ordena linhas; por padrão, compara linhas inteiras usando a sequência de collation do locale LC_COLLATE, com uma comparação final da linha inteira como último recurso, que -s (estável) e -u desativam. -n ordena numericamente, -h por tamanhos legíveis por humanos, como 2K e 1G, -V por strings de versão, -r inverte a ordem, -k pos1[,pos2] seleciona uma chave e -t sep define o separador de campos; -u mantém a primeira entre as linhas que se comparam como iguais, -z trabalha com registros terminados em NUL e -c verifica a ordem sem ordenar.

O uniq descarta todas as linhas repetidas adjacentes, exceto a primeira; o manual afirma que linhas repetidas só são detectadas se estiverem adjacentes, portanto uma entrada não ordenada precisa passar antes pelo sort (ou por sort -u). -c coloca antes de cada linha o número de ocorrências, -d imprime apenas as linhas repetidas e -u apenas as que ocorrem uma única vez.

comm file1 file2 imprime três colunas separadas por tabulação: linhas somente em file1, linhas somente em file2 e linhas presentes nos dois; -1, -2 e -3 suprimem colunas. O manual exige que as duas entradas estejam ordenadas pela sequência de collation de LC_COLLATE, observa que a saída do sort simples é uma entrada adequada e oferece --check-order para falhar com entrada não ordenada em vez de produzir uma saída errada.

Por que importa

Estes comandos implementam contagem, deduplicação, interseção e diferença para qualquer dado organizado em linhas: entradas de log, listas de pacotes, identificadores exportados de dois sistemas. Seus erros passam sem aviso se o requisito de entrada ordenada não for respeitado.

Como aplicar

• Tabela de frequências: sort | uniq -c | sort -rn | head.
• Linhas que estão em A mas não em B: comm -23 <(sort a) <(sort b); interseção: comm -12; somente em B: comm -13.
• Ordenar por uma coluna: sort -t, -k3,3n file.csv; 3,3 impede que a chave se estenda até o fim da linha. Para tamanhos vindos de du -h: sort -h.
• Deduplicar mantendo a ordem da entrada: awk '!seen[$0]++' em vez de sort.
• Coloque export LC_ALL=C no início dos scripts que combinam essas ferramentas, para que todas as etapas concordem quanto à ordem em qualquer máquina; a nota de rodapé do manual do sort recomenda LC_ALL=C quando um locale produz uma ordem inesperada.
• Adicione --check-order ao comm nos pipelines, para que uma incompatibilidade de collation falhe de forma explícita.

Armadilhas

sort -n -u deduplica apenas pela chave numérica, o que difere de sort -n | uniq sobre linhas inteiras; o manual traz esse exemplo. uniq -c coloca a contagem antes da linha, separada por espaços em branco, então processe-a com awk em vez de usar colunas fixas. Os campos de -k são contados a partir de 1; sem -t, segundo o manual, um campo começa em cada transição de não-branco para branco, de modo que os brancos iniciais pertencem ao campo, e LC_CTYPE define o que são brancos. A substituição de processos <(...) é sintaxe de bash e zsh, não de POSIX sh.