Awk – Werkzeug und Skriptsprache

Ein Tool für alle Fälle

Unter Linux ist die Bandbreite der Verwendung von Textdateien groß: Systemkonfiguration, Systemüberwachung und Datenaustausch. Mit Awk steht ein mächtiges Werkzeug zur Verarbeitung und gezielten Veränderung dieser Dateien zur Verfügung.

Erste Schritte

Awk ist eine Skriptsprache, die speziell für die Bearbeitung und Auswertung von Textdateien konzipiert wurde. Sie stellt ein hilfreiches Tool für Systemadministratoren dar: Mit ihrer Hilfe kann zum Beispiel ein geänderter Dateipfad systemweit in einem Arbeitsschritt angepasst werden. Darüberhinaus gibt jedoch es viele weitere Einsatzmöglichkeiten. Ein Beispiel dafür ist die Auswertung von Textdateien, in denen Messdaten in tabulatorformatierten Tabellen aufgezeichnet wurden.

Ein Awk-Skript besteht aus einzelnen Befehlen oder Befehlsblöcken, die entweder nur unter bestimmten Bedingungen oder für alle Zeilen der Eingabe ausgeführt werden. Sie können die Awk-Befehle direkt von der Kommandozeile aufrufen oder in Dateien speichern.

Alle Beispieldaten zu diesem Artikel finden Sie sowohl auf der Heft-CD als auch online [1]. Um die Beispiele auszuprobieren sollten das Archiv in ein leeres Verzeichnis entpacken. Im Archiv sind zusätzliche Daten für eigene Übungen enthalten. Einige Beispiele nutzen außer Awk weitere Linux-Befehle.

Das erste Beispiel verwendet die Systemvariable $USER und begrüßt Sie zu einer kleinen Tour durch die Anwendungsmöglichkeiten von Awk:

echo $USER | awk '{print "Hallo " $1 "!"}'

Awk erhält den Inhalt von $USER als Befehlsparameter. Bei der Verarbeitung der Eingabezeile speichert Awk alle Datenfelder in den Variablen $1 bis $NF. Die Variable NF enthält die Anzahl der Datenfelder. Awk gibt den ersten übergebenen Parameter über den Befehl print zusammen mit dem Wort "Hallo" an der Standardausgabe aus. Wenn mehrere Befehle nacheinander folgen, werden sie durch ein Semikolon getrennt. Wenn Sie nur das dritte und vierte Feld einer Eingabezeile ausgeben möchten, dann schreiben Sie

echo "A B C D" | awk '{print $3 " " $4}'

Natürlich kann ein Werkzeug wie Awk auch mit mehreren Eingabezeilen umgehen. Zum Testen bietet sich das Unix-Programm Cal an. In Abbildung 1 gibt Awk die Zeilennummer, die Anzahl der Felder und zur Kontrolle die komplette Zeile ($0) aus. Die einzelnen Felder sind in den ersten Beispielen immer durch Leerzeichen oder Tabulatoren getrennt. Später werden wir auch andere Trennzeichen kennenlernen.

Abbildung 1: Awk kommt beim Separieren der Datenfelder auch mit mehrzeiligen Ausgaben zurecht.

Awk benutzt neben NF und NR viele weitere Variablen um die Eingabe auszuwerten und die Ausgabe zu steuern. Eine komplette Übersicht der Variablen finden Sie im Awk-Handbuch [2] sowie in der Manpage zum Programm. Mit der Option --dump-variables können Sie bei einem Awk-Aufruf die wichtigsten Variablen in eine Datei sichern und später auswerten.

Dateien auswerten

In den meisten praktischen Anwendungen geht es darum, Daten aus Dateien einzulesen und zeilenweise zu verarbeiten. Dabei können auch mehrere Dateien gleichzeitig ausgewertet werden. Der Befehl awk '{print}' /etc/group gibt alle Zeilen der Datei /etc/group aus. Diese Datei enthält auf jeder Zeile die Datenfelder Gruppenname, Gruppenpasswort, Gruppen-ID und Benutzerliste. In der Benutzerliste stehen alle Nutzer, die zu dieser Gruppe gehören.

Allerdings sind die Datenfelder in dieser Datei nicht durch Leerzeichen oder Tabulatoren, sondern durch Doppelpunkte getrennt. Zum Auslesen der Gruppennamen oder anderer Datenfelder muss das Feldtrennzeichen mit der Variablen FS) übergeben werden. Diese Variable legt fest, an welchen Trennzeichen Awk die Zeile in Felder aufteilt. Sie kann auf der Kommandozeile gesetzt werden:

awk -F':' '{print $1}' /etc/group

Als Trennzeichen können Sie auch Posix-Zeichenklassen oder reguläre Ausdrücke verwenden. Wenn Sie also mit einer Datei arbeiten, in der die Datenfelder entweder durch Kommas, Tabulatoren oder Leerzeichen getrennt sind, dann geben Sie das Trennzeichen auf folgende Weise an:

awk -F'[,[:blank:]]' '{print $1 $2 $3}' daten2.txt

Mit Awk können Sie die Reihenfolge der Felder bei der Ausgabe verändern. Wenn Sie zuerst die ID, dann den Gruppennamen und dann die Nutzer ausgeben möchten, sieht der Aufruf so aus:

awk -F':' '{print $3 " " $1 " " $4}' /etc/group

Der Befehl print ist eignet sich nur für eine unformatierte Ausgabe. Eine wesentlich übersichtlichere Anzeige Ihrer Daten erhalten Sie mit dem Befehl printf(), der wie in C funktioniert. Die Formatierungsoptionen für Zahlen und Zeichenketten sind im Awk-Handbuch [2] ausführlich beschrieben. Im nächsten Beispiel werden ID und Nutzer formatiert aufgelistet:

awk -F':' '{printf("%5s %s\n",$3,$4)}' /etc/group

Oft sollen bestimmte Eingabefelder nicht mehr in der Ausgabe enthalten sein. Hierfür können Sie dem entsprechenden Feld eine leere Zeichenkette zuweisen:

awk -F':' '{$2=""; print}' /etc/group

In der Ausgabe dieses Beispiels sind die Felder nicht mehr durch Doppelpunkte getrennt. Das liegt daran, dass Awk nicht nur ein Trennzeichen für die Ausgabe, sondern auch ein Trennzeichen für die Eingabe kennt. Sie können das Trennzeichen für die Ausgabe als Wert der Variablen OFS separat festlegen.

LinuxCommunity kaufen

Einzelne Ausgabe
 
Abonnements
 
TABLET & SMARTPHONE APPS
Bald erhältlich
Get it on Google Play

Deutschland

Ähnliche Artikel

  • Datenanalyse mit OpenOffice 2.0 – Der Datenpilot
    Wer mit Tabellenkalkulationen arbeitet, will die erfassten Daten in der Regel auch auswerten. Bei OpenOffice hilft der Datenpilot dabei, sich schnell einen Überblick über Bilanzen oder Messwerte zu verschaffen. In OpenOffice 2 hat der Pilot noch einiges an Verbesserungen erfahren.
  • Praktisch und nützlich: AWK
    Ein Unix-Rechner erschlägt den Anwender förmlich mit kleinen Helferlein, die ihm so gerne zu Diensten wären. Leider lassen sie sich nicht immer ganz problemlos bedienen. Die Textbearbeitungssprache AWK ist ein typisches Beispiel.
  • Sauber verzahnt
    Verbinden, trennen, umformatieren: Unter Linux gibt es zahlreiche kleine Helfer, die die Arbeit mit Textdateien perfekt beherrschen – und die dazu noch perfekt zusammenarbeiten.
  • Am Fließband
    Mit Sed editieren Sie Textdaten ohne interaktive Benutzeroberfläche – auch in Pipes oder der Eingabeumlenkung. In einer einzigen Zeile lassen sich umfangreiche Editierkommandos absetzen.
  • Sieben Brücken
    Computer wurden ursprünglich als Rechenmaschinen entwickelt. Am Beispiel eines Fahrtenbuchs zeigen wir, wie Sie mit Bordmitteln das Maschinchen zu Ihren Gunsten werkeln lassen. Dabei stellen wir Ihnen sieben Varianten der Problemlösung vor.
Kommentare

Infos zur Publikation

LU 10/2016: Kryptographie

Digitale Ausgabe: Preis € 0,00
(inkl. 19% MwSt.)

LinuxUser erscheint monatlich und kostet 5,95 Euro (mit DVD 8,50 Euro). Weitere Infos zum Heft finden Sie auf der Homepage.

Das Jahresabo kostet ab 86,70 Euro. Details dazu finden Sie im Computec-Shop. Im Probeabo erhalten Sie zudem drei Ausgaben zum reduzierten Preis.

Bei Google Play finden Sie digitale Ausgaben für Tablet & Smartphone.

HINWEIS ZU PAYPAL: Die Zahlung ist ohne eigenes Paypal-Konto ganz einfach per Kreditkarte oder Lastschrift möglich!

Aktuelle Fragen

Probleme mit MPC/MPD
Matthias Göhlen, 27.09.2016 13:39, 2 Antworten
Habe gerade mein erstes Raspi Projekt angefangen, typisches Einsteigerding: Vom Raspi 3B zum Radi...
Soundkarte wird erkannt, aber kein Ton
H A, 25.09.2016 01:37, 6 Antworten
Hallo, Ich weiß, dass es zu diesem Thema sehr oft Fragen gestellt wurden. Aber da ich ein Linu...
Scannen nur schwarz-weiß möglich
Werner Hahn, 20.09.2016 13:21, 2 Antworten
Canon Pixma MG5450S, Dell Latitude E6510, Betriebssyteme Ubuntu 16.04 und Windows 7. Der Canon-D...
Meteorit NB-7 startet nicht
Thomas Helbig, 13.09.2016 02:03, 4 Antworten
Verehrte Community Ich habe vor Kurzem einen Netbook-Oldie geschenkt bekommen. Beim Start ersch...
windows bootloader bei instalation gelöscht
markus Schneider, 12.09.2016 23:03, 1 Antworten
Hallo alle zusammen, ich habe neben meinem Windows 10 ein SL 7.2 Linux installiert und musste...