sed et awk pour les modifications orientées ligne : substitution, champs et modifications sur place

Ce que c'est

sed lit l'entrée ligne par ligne dans un espace de motif, applique un script de commandes et affiche le résultat. La commande la plus utilisée est s/regexp/replacement/flags. Le manuel de GNU sed indique que le remplacement peut contenir \1 à \9 pour les groupes entre parenthèses et & pour la correspondance entière, que / peut être remplacé par n'importe quel autre caractère unique comme délimiteur, et que -E sélectionne les expressions régulières étendues. -n supprime l'affichage automatique (à associer avec p), et -i[SUFFIX] (--in-place) modifie les fichiers en écrivant un fichier temporaire puis en le renommant à la place de l'original, en ne conservant une sauvegarde que si un suffixe est fourni.

awk est un petit langage : un programme est une liste de paires pattern { action } exécutées sur chaque enregistrement. Les enregistrements sont découpés en champs $1, $2, … par le séparateur de champ FS, défini avec -F ou dans un bloc BEGIN ; le guide gawk note que FS est un caractère unique ou une expression régulière, et qu'il est sans rapport avec l'IFS du shell. NR compte les enregistrements, NF contient le nombre de champs, les blocs END s'exécutent après le dernier enregistrement, et les tableaux associatifs rendent le comptage et le regroupement concis.

Pourquoi c'est important

Pour des transformations simples, ces outils sont plus rapides à écrire et à relire qu'un programme généraliste, et ils se composent dans des pipelines. Leurs modes de défaillance sont silencieux : une expression régulière qui ne correspond pas ne change rien, et une expression qui correspond trop change tout.

Comment l'appliquer

• Substituer avec un délimiteur absent du texte : sed 's|/usr/local|/opt|g' ; utiliser -E pour +, ?, | et les groupes sans barres obliques inverses.
• Prévisualiser avant de modifier sur place : exécuter sans -i, ou diff <(sed 's/a/b/' file) file ; utiliser ensuite sed -i.bak pour conserver une sauvegarde.
• Afficher ou réordonner des colonnes : awk -F: '{print $1, $7}' /etc/passwd ; awk '{print $NF}' affiche le dernier champ.
• Compter par clé : awk '{count[$1]++} END {for (k in count) print k, count[k]}'.
• Filtrer selon la valeur d'un champ : awk '$3 > 100 && $1 != "total"'.
• Supprimer ou sélectionner des plages : sed '/^#/d' supprime les lignes de commentaire ; sed -n '10,20p' affiche les lignes 10 à 20.

Pièges

sed -ni 's/foo/bar/' FILE tronque le fichier : le manuel avertit que -n combiné à -i sans commande p le laisse vide. Comme -i prend un argument optionnel, sed -iE crée une sauvegarde nommée FILEE au lieu d'activer les expressions régulières étendues ; écrire -E -i. Le sed de BSD (FreeBSD, macOS) documente -i extension avec un argument obligatoire, si bien que sed -i 's/x/y/' FILE y prend le script comme suffixe ; sed -i.bak 's/x/y/' FILE fonctionne avec les deux implémentations, tandis que -i '' est propre à BSD. Les extensions GNU telles que \U et \L dans les remplacements ne sont pas portables. Les plages de caractères dépendent de la locale (voir l'article sur la locale).