sort, uniq y comm: operaciones de conjuntos sobre texto que dependen de una entrada ordenada

Qué es

El manual de coreutils agrupa estos comandos bajo «operar sobre archivos ordenados». sort ordena líneas; de forma predeterminada compara líneas completas usando la secuencia de colación de la configuración regional LC_COLLATE, con una comparación de última instancia sobre la línea completa que -s (estable) y -u desactivan. -n ordena numéricamente, -h por tamaños legibles como 2K y 1G, -V por cadenas de versión, -r invierte el orden, -k pos1[,pos2] selecciona una clave y -t sep establece el separador de campos; -u conserva la primera de las líneas que comparan como iguales, -z opera sobre registros terminados en NUL y -c comprueba el orden sin ordenar.

uniq descarta todas las líneas repetidas adyacentes salvo la primera; el manual indica que las líneas repetidas solo se detectan si son adyacentes, por lo que una entrada sin ordenar necesita pasar antes por sort (o sort -u). -c antepone a cada línea su recuento, -d imprime solo las líneas repetidas, -u solo las que aparecen una única vez.

comm file1 file2 imprime tres columnas separadas por tabulación: líneas solo en file1, líneas solo en file2 y líneas en ambos; -1, -2 y -3 suprimen columnas. El manual exige que ambas entradas estén ordenadas según la secuencia de colación LC_COLLATE, señala que la salida de un sort normal es una entrada adecuada, y ofrece --check-order para fallar ante una entrada sin ordenar en lugar de producir una salida incorrecta.

Por qué importa

Estos comandos implementan el conteo, la deduplicación, la intersección y la diferencia para cualquier cosa con forma de líneas: entradas de registro, listas de paquetes, identificadores exportados de dos sistemas. Sus errores son silenciosos a menos que se respete el requisito de entrada ordenada.

Cómo aplicarlo

• Tabla de frecuencias: sort | uniq -c | sort -rn | head.
• Líneas en A pero no en B: comm -23 <(sort a) <(sort b); intersección: comm -12; solo en B: comm -13.
• Ordenar por una columna: sort -t, -k3,3n file.csv; 3,3 evita que la clave se extienda hasta el final de la línea. Tamaños provenientes de du -h: sort -h.
• Deduplicar conservando el orden de entrada: awk '!seen[$0]++' en lugar de sort.
• Colocar export LC_ALL=C al principio de los scripts que combinan estas herramientas, para que todas las etapas coincidan en el orden en cualquier máquina; la nota al pie del manual de sort recomienda LC_ALL=C cuando una configuración regional produce un orden inesperado.
• Añadir --check-order a comm en las tuberías, para que un desajuste de colación falle de forma visible.

Trampas

sort -n -u deduplica solo según la clave numérica, lo cual difiere de sort -n | uniq aplicado a líneas completas; el manual da este mismo ejemplo. uniq -c antepone el recuento a la línea, separado por espacios en blanco, así que conviene analizarlo con awk en lugar de por columnas fijas. Los campos de -k se cuentan desde 1; sin -t, según el manual, un campo comienza en cada transición de no-blanco a blanco, de modo que los espacios en blanco iniciales pertenecen al campo, y LC_CTYPE define qué es un espacio en blanco. La sustitución de procesos <(...) es sintaxis de bash y zsh, no de POSIX sh.