sort, uniq et comm : des opérations d'ensembles sur du texte qui dépendent d'une entrée triée

Ce que c'est

Le manuel de coreutils regroupe ces commandes sous « opérations sur des fichiers triés ». sort ordonne les lignes ; par défaut, il compare des lignes entières selon la séquence de collation de la locale LC_COLLATE, avec une comparaison de ligne entière utilisée en dernier recours, que -s (stable) et -u désactivent. -n trie numériquement, -h selon des tailles lisibles par un humain telles que 2K et 1G, -V selon des chaînes de version, -r inverse l'ordre, -k pos1[,pos2] sélectionne une clé et -t sep définit le séparateur de champ ; -u conserve la première des lignes considérées comme égales, -z fonctionne sur des enregistrements terminés par NUL, et -c vérifie l'ordre sans trier.

uniq ne conserve que la première d'un ensemble de lignes répétées adjacentes ; le manuel précise que les lignes répétées ne sont détectées que si elles sont adjacentes, si bien qu'une entrée non triée doit d'abord passer par sort (ou sort -u). -c préfixe chaque ligne de son nombre d'occurrences, -d n'affiche que les lignes répétées, -u seulement les lignes apparaissant une seule fois.

comm file1 file2 affiche trois colonnes séparées par des tabulations : les lignes présentes uniquement dans file1, celles présentes uniquement dans file2, et celles présentes dans les deux ; -1, -2 et -3 suppriment des colonnes. Le manuel exige que les deux entrées soient triées selon la séquence de collation LC_COLLATE, note que la sortie brute de sort constitue une entrée adaptée, et propose --check-order pour échouer sur une entrée non triée plutôt que de produire un résultat erroné.

Pourquoi c'est important

Ces commandes implémentent le comptage, la déduplication, l'intersection et la différence pour tout ce qui se présente sous forme de lignes : entrées de journal, listes de paquets, identifiants exportés de deux systèmes. Leurs erreurs restent silencieuses tant que l'exigence d'entrée triée n'est pas respectée.

Comment l'appliquer

• Table de fréquence : sort | uniq -c | sort -rn | head.
• Lignes présentes dans A mais pas dans B : comm -23 <(sort a) <(sort b) ; intersection : comm -12 ; uniquement dans B : comm -13.
• Trier selon une colonne : sort -t, -k3,3n file.csv ; 3,3 empêche la clé de s'étendre jusqu'à la fin de la ligne. Pour des tailles issues de du -h : sort -h.
• Dédupliquer en conservant l'ordre d'entrée : awk '!seen[$0]++' plutôt que sort.
• Placer export LC_ALL=C en tête des scripts qui combinent ces outils, afin que chaque étape s'accorde sur le même ordre, quelle que soit la machine ; la note de bas de page du manuel de sort recommande LC_ALL=C lorsqu'une locale produit un ordre inattendu.
• Ajouter --check-order à comm dans les pipelines, afin qu'une incohérence de collation échoue bruyamment.

Pièges

sort -n -u déduplique uniquement sur la clé numérique, ce qui diffère de sort -n | uniq appliqué sur des lignes entières ; le manuel donne cet exemple. uniq -c place le nombre d'occurrences avant la ligne, séparé par des espaces, il vaut donc mieux l'analyser avec awk plutôt que par des colonnes fixes. Les champs pour -k sont numérotés à partir de 1 ; sans -t, précise le manuel, un champ commence à chaque transition d'un caractère non blanc vers un blanc, si bien que les espaces de début appartiennent au champ, et LC_CTYPE définit ce que sont les blancs. La substitution de processus <(...) est une syntaxe propre à bash et zsh, pas à POSIX sh.