sed und awk für zeilenorientierte Bearbeitungen: Ersetzen, Felder und Änderungen direkt in der Datei

Worum es geht

sed liest die Eingabe zeilenweise in einen Pattern Space ein, wendet ein Skript aus Befehlen an und gibt das Ergebnis aus. Der meistgenutzte Befehl ist s/regexp/replacement/flags. Das GNU-sed-Handbuch besagt, dass das Replacement \1 bis \9 für geklammerte Gruppen sowie & für den gesamten Treffer enthalten darf, dass / durch jedes andere einzelne Zeichen als Trennzeichen ersetzt werden kann und dass -E erweiterte reguläre Ausdrücke auswählt. -n unterdrückt die automatische Ausgabe (in Kombination mit p einzusetzen), und -i[SUFFIX] (--in-place) bearbeitet Dateien, indem eine temporäre Datei geschrieben und über das Original umbenannt wird, wobei nur bei Angabe eines Suffix eine Sicherungskopie erhalten bleibt.

awk ist eine kleine Sprache: Ein Programm ist eine Liste von pattern { action }-Paaren, die auf jeden Datensatz angewendet werden. Datensätze werden durch den Feldtrenner FS in Felder $1, $2, … aufgeteilt, gesetzt mit -F oder in einem BEGIN-Block; der gawk-Leitfaden merkt an, dass FS ein einzelnes Zeichen oder ein regulärer Ausdruck ist und nichts mit dem IFS der Shell zu tun hat. NR zählt Datensätze, NF hält die Anzahl der Felder, END-Blöcke laufen nach dem letzten Datensatz, und assoziative Arrays machen Zählen und Gruppieren kurz.

Warum es wichtig ist

Für einfache Transformationen sind diese Werkzeuge schneller geschrieben und geprüft als ein Programm in einer Allzwecksprache, und sie lassen sich in Pipelines kombinieren. Ihre Fehlerarten sind leise: Ein regulärer Ausdruck, der nicht passt, ändert nichts, und einer, der zu viel trifft, ändert alles.

So wird es angewendet

• Mit einem Trennzeichen ersetzen, das im Text nicht vorkommt: sed 's|/usr/local|/opt|g'; -E für +, ?, | und Gruppen ohne Backslashes verwenden.
• Vor dem direkten Bearbeiten eine Vorschau machen: ohne -i ausführen oder diff <(sed 's/a/b/' file) file; danach sed -i.bak verwenden, um eine Sicherungskopie zu behalten.
• Spalten ausgeben oder umordnen: awk -F: '{print $1, $7}' /etc/passwd; awk '{print $NF}' gibt das letzte Feld aus.
• Nach Schlüssel zählen: awk '{count[$1]++} END {for (k in count) print k, count[k]}'.
• Nach Feldwert filtern: awk '$3 > 100 && $1 != "total"'.
• Bereiche löschen oder auswählen: sed '/^#/d' entfernt Kommentarzeilen; sed -n '10,20p' gibt die Zeilen 10 bis 20 aus.

Stolpersteine

sed -ni 's/foo/bar/' FILE leert die Datei: Das Handbuch warnt, dass -n zusammen mit -i ohne p-Befehl die Datei leer zurücklässt. Da -i ein optionales Argument nimmt, legt sed -iE eine Sicherungskopie namens FILEE an, statt erweiterte reguläre Ausdrücke zu aktivieren; stattdessen -E -i schreiben. BSD-sed (FreeBSD, macOS) dokumentiert -i extension mit einem verpflichtenden Argument, sodass sed -i 's/x/y/' FILE dort das Skript als Suffix nimmt; sed -i.bak 's/x/y/' FILE funktioniert mit beiden Implementierungen, während -i '' nur bei BSD funktioniert. GNU-Erweiterungen wie \U und \L in Ersetzungen sind nicht portabel. Zeichenbereiche hängen von der Locale ab (siehe den Artikel zur Locale).