Dateien schneller packen und konvertieren mit GNU parallel

GNU parallel in Aktion
GNU parallel in Aktion
20.11.2012 16:23

Wer viele Dateien in einem Verzeichnis komprimieren oder konvertieren möchte, kann das auf der Shell mit einer Schleife machen:

for i in *; do gzip $i; done 

Dieses Beispiel komprimiert nacheinander alle Dateien mit gzip. Um die Auflösung (also die Abmessungen) aller Bilder mit der Endung .png um 50 Prozent zu verkleinern, kann man zum Werkzeug mogrify aus dem ImageMagick-Paket greifen (unter Ubuntu 12.10 im Paket imagemagick):

for i in *.png; do mogrify -resize 50% $i; done 

Beide Lösungen haben jedoch die unangenehme Eigenschaft, dass sie jede Datei nacheinander behandeln. Oder mit anderen Worten: Je mehr Dateien im Verzeichnis liegen, desto länger dauert der gesamte Vorgang.

Die Kompression oder Umwandlung könnte man beschleunigen, indem man mehrere Dateien gleichzeitig einpacken beziehungsweise bearbeiten lässt. Damit würde dann auf modernen Prozessoren auch nicht nur ein Rechnenkern beschäftigt, während die anderen Däumchen drehen.

Je mehr Dateien zu verarbeiten sind, desto deutlicher sind die Unterschiede zwischen einer Schleife und der parallelen Verarbeitung.

Genau hier springt das kleine Programm parallel ein, das alle großen Distributionen in ihren Repositories anbieten. Unter Ubuntu 12.10 steckt es beispielsweise im Paket parallel. Das Werkzeug startet einfach einen Befehl mehrfach. Alle Informationen, mit denen man parallel über die Standardeingabe füttert, reicht es an die von ihm gestarteten Befehle weiter. Klingt kompliziert, ist in der Praxis aber ganz einfach. Um alle Dateien im aktuellen Verzeichnis parallel verpacken zu lassen, ruft man einfach folgenden Befehl auf:

ls | parallel gzip

Die gepackten Dateien muss man nicht alle wieder einzeln auspacken. Stattdessen hilft auch hier wieder parallel:

ls | parallel gunzip

In beiden Fällen startet parallel gleich mehrfach gzip beziehungsweise gunzip und setzt die Bande dann auf die von ls herübergereichten Dateinamen an.

Nach dem gleichen Prinzip skaliert der folgende Befehl die Auflösung aller Bilder mit der Endung .png um die Hälfte herunter:

ls *.png | parallel mogrify -resize 50%

Die wesentlichen limitierenden Faktoren sind hier nur noch die Geschwindigkeit der Festplatte und die Anzahl der Prossorkerne.


Kommentare
do not parse ls
norbert (unangemeldet), Donnerstag, 29. November 2012 15:50:49
Ein/Ausklappen

Siehe Überschrift. Den Output von ls zu parsen ist die schlechteste idee ever. Und wenn es nur ein Beispiel war, dann ein schlechtes. So lehrt man User, Bugs zu bauen.
näheres dazu: http://mywiki.wooledge.org/ParsingLs


Bewertung: 157 Punkte bei 35 Stimmen.
Den Beitrag bewerten: Gut / Schlecht
-
Re: do not parse ls
Kai (unangemeldet), Donnerstag, 29. November 2012 22:48:51
Ein/Ausklappen

Nein, nicht pauschal. Es kommt darauf an, was nach dem Pipe mit den Dateinamen passiert.

"ls" wird übrigens auch in der offiziellen parallel-Dokumentation als Beispiel genannt.

Auf Nummer sicher gehen kann man mit den doppelt geschweiften klammern:

ls | parallel befehl {}




Bewertung: 202 Punkte bei 38 Stimmen.
Den Beitrag bewerten: Gut / Schlecht
Achtung - systemlast
Ulf B., Dienstag, 20. November 2012 19:51:21
Ein/Ausklappen

Hallo,

nettes Progrämmchen, man sollte es allerdings mit bedacht einsetzten.

Zum einen bringt es nur etwas bei Hyberthreding und Mehrkern-CPUs und zum anderen kann man damit einen PC (je nach Kernel) quasi lahmlegen. und zwar wenn man mindestens so viele Tasks wie CPU Kerne (auch Hyberthredding) hat. Dieses tritt dann auf, wenn man den Prozess startet und zeitweise wenig z.B. auf dem Desktop tut. Denn nach einiger Zeit ordnet Linux den Prozessen mit hoher Last höhere Resourcen (RAM und CPU zeit zu). Dann sollte man die Priorität der Tasks herunter stufen - damit das nicht so gravierend auftritt.

Gruß
Ulf


Bewertung: 135 Punkte bei 47 Stimmen.
Den Beitrag bewerten: Gut / Schlecht
-
Re: Achtung - systemlast
mandri (unangemeldet), Donnerstag, 22. November 2012 21:07:07
Ein/Ausklappen

Haben die Macher auch bemerkt:
http://www.linux-community....hrichten/GNU-Parallel-20121122


Bewertung: 210 Punkte bei 27 Stimmen.
Den Beitrag bewerten: Gut / Schlecht

Kommentare
do not parse ls
norbert (unangemeldet), Donnerstag, 29. November 2012 15:50:49
Ein/Ausklappen
-
Re: do not parse ls
Kai (unangemeldet), Donnerstag, 29. November 2012 22:48:51
Ein/Ausklappen

Nein, nicht pauschal. Es kommt darauf an, was nach dem Pipe mit den Dateinamen passiert.

"ls" wird übrigens auch in der offiziellen parallel-Dokumentation als Beispiel genannt.

Auf Nummer sicher gehen kann man mit den doppelt geschweiften klammern:

ls | parallel befehl {}




Bewertung: 202 Punkte bei 38 Stimmen.
Den Beitrag bewerten: Gut / Schlecht

Tipp der Woche

Grammatikprüfung in LibreOffice nachrüsten
Grammatikprüfung in LibreOffice nachrüsten
Tim Schürmann, 24.04.2015 19:36, 0 Kommentare

LibreOffice kommt zwar mit einer deutschen Rechtschreibprüfung und einem guten Thesaurus, eine Grammatikprüfung fehlt jedoch. In ältere 32-Bit-Versionen ...

Aktuelle Fragen

Zu wenig Speicherplatz auf /boot unter MATE
Patrick Obenauer, 25.05.2015 14:28, 1 Antworten
Hallo zusammen, ich habe Ubuntu 14.10 mit MATE 1.8.2 (3.16-37) mit Standardeinstellungen aufgese...
Konsole / Terminal in Linux Mint 17.1 deutsch
Dirk Resag, 09.05.2015 23:39, 12 Antworten
Hallo an die Community, ich habe vor kurzem ein älteres Notebook, Amilo A1650G, 1GB Arbeitsspe...
Admin Probleme mit Q4os
Thomas Weiss, 30.03.2015 20:27, 6 Antworten
Hallo Leute, ich habe zwei Fragen zu Q4os. Die Installation auf meinem Dell Latitude D600 verl...
eeepc 1005HA externer sound Ausgang geht nicht
Dieter Drewanz, 18.03.2015 15:00, 1 Antworten
Hallo LC, nach dem Update () funktioniert unter KDE der externe Soundausgang an der Klinkenbuc...
AceCad DigiMemo A 402
Dr. Ulrich Andree, 15.03.2015 17:38, 2 Antworten
Moin zusammen, ich habe mir den elektronischen Notizblock "AceCad DigiMemo A 402" zugelegt und m...

Jetzt auf den Mailinglisten

Re: [EasyLinux-Suse] Yast
Willi Zelinka, 29.05.2015 09:21
Hallo Daniel, Am Donnerstag, 28. Mai 2015, 22:56:54 schrieb Daniel Hegenbarth: > linux-l4nv:/home/daniel...
Re: [EasyLinux-Suse] Yast
Daniel Hegenbarth, 28.05.2015 22:56
linux-l4nv:/home/daniel # zypper ref Fehler beim Herunterladen (curl) für 'http://download.opensuse.org/repos...
Re: [EasyLinux-Ubuntu] Mandriva zu Ende und [OT]-Gedanken
Karl-Heinz, 28.05.2015 20:14
Am Thu, 28 May 2015 09:50:34 +0200 schrieb Gerhard Blaschke : Hallo Gerhard, > Schade, dass eine Distr...
Re: [EasyLinux-Ubuntu] Mandriva zu Ende und [OT]-Gedanken
Heiko, 28.05.2015 13:46
Am Donnerstag, 28. Mai 2015, 09:50:34 schrieb Gerhard Blaschke: Hallo Gerd, > > habe es zwar nie v...
[EasyLinux-Ubuntu] Mandriva zu Ende und [OT]-Gedanken
Gerhard Blaschke, 28.05.2015 09:50
Hallo Liste, habe es zwar nie verwendet, weiß aber, dass es auf der Liste einige Anwender gibt. http://ww...