Aus LinuxUser 11/2012

Große Dateien transferieren (Seite 2)

Abgleich mit Rsync

Eine weitere Möglichkeit, Daten zu transferieren, besteht im Synchronisieren zweier Verzeichnisse via Rsync oder dessen grafischen Frontend Grsync (Abbildung 3).

Abbildung 3: Die grafische Oberfläche Grsync erleichtert den Umgang mit den zuweilen recht kryptisch wirkenden Rsync-Kommandos.
Abbildung 3: Die grafische Oberfläche Grsync erleichtert den Umgang mit den zuweilen recht kryptisch wirkenden Rsync-Kommandos.

Listing 3 zeigt, wie Sie den Inhalt des Verzeichnisses /original von einem Rechner mit dem lokalen Verzeichnis kopie abgleichen. Rsync überträgt dabei nur die Änderungen zwischen dem Original und der Kopie – identische Daten(blöcke) erkennt das Tool und spart sie aus. Die Option -z sorgt dafür, dass die Daten beim Abgleich via Gzip komprimiert übers Netz laufen.

Listing 3

$ rsync -z Nutzer@Quelle:/original/ kopie

Daten komprimieren

Die Kompression der Daten während des Übertragens kostet einerseits Zeit, andererseits unterstützt das Duo SSH/SCP nur das Komprimieren mittels Gzip. Das Verfahren ist zwar weit verbreitet, aber nicht immer die beste Wahl. Möchten Sie ein anderes Verfahren verwenden, bleibt Ihnen nur das Komprimieren der Dateien vor dem Transfer und das Auspacken auf dem Zielsystem, beispielsweise mittels Xz oder 7z.

Welches Verfahren sich am besten eignet, hängt in erster Linie von den zu verarbeitenden Daten ab. Eine vollständige Übersicht zu den einzelnen Verfahren und deren Grad der Kompression und Geschwindigkeit beim Verarbeiten der Daten gibt ein Artikel von Martin Steigerwald [1].

Es gilt jedoch, die Wahl des Formats noch in einer ganz anderen Hinsicht zu beachten: Möchten Sie die komprimierte Datei auf dem Zielsystem wieder auspacken, stellen Sie am besten vorab sicher, dass dort auch ein geeignetes Programm bereit steht.

Neues Format

Eine weitere Möglichkeit besteht in der Manipulation des externen Datenträgers und dessen Dateisystem. Das Erzeugen eines Dateisystems gelingt mit den Mkfs-Werkzeugen. Mkfs steht für „make file system“, für (fast) jedes Dateisystem steht ein eigenes Kommando bereit. So erzeugt mkfs.ext4 /dev/sdb1 ein Ext4-Dateisystem auf dem angegebenen Device /dev/sdb1.

Die maximale Dateigröße in einem Dateisystem variiert erheblich und liegt beispielsweise zwischen 16 TByte bei Ext2, 1 EByte bei Ext4 und 16 EByte bei ZFS [2].

Je nach Größe des Datenträgers nimmt das Anlegen eines Dateisystems etwas Zeit in Anspruch. Beachten Sie dabei, dass bei diesem Vorgang sämtliche Informationen zu den bereits abgelegten Daten auf dem Speichermedium verloren gehen.

Dateien splitten

Sind die oben genannten Vorschläge nicht praktikabel oder nicht möglich, zerlegen Sie die Datei in kleinere Stücke und setzen sie diese auf dem Zielsystem wieder zusammen. Unter Linux existieren dafür die beiden Werkzeuge split und cat. Split zerlegt die Dateien, Cat fügt die Einzelteile wieder zusammen.

Ohne Angabe weiterer Parameter zerlegt Split die angegebene Datei in Einzelteile mit einer Länge von 1000 Zeilen. Diese Voreinstellung eignet sich primär für Textdateien, aber nicht für ein ISO-Image oder eine virtuelle Maschine. Mit dem Parameter --bytes=Wert (oder -b Wert) teilt Split dagegen aufs Byte genau.

Möchten Sie das ISO-Image des Netinstallers von Debian (191 MByte) in maximal 50 MByte große Häppchen zerteilen, genügt dazu der folgende Aufruf:

DIESEN ARTIKEL ALS PDF KAUFEN
EXPRESS-KAUF ALS PDFUmfang: 3 HeftseitenPreis €0,99
(inkl. 19% MwSt.)
KAUFEN
LinuxUser 11/2012 KAUFEN
EINZELNE AUSGABE Print-Ausgaben Digitale Ausgaben
ABONNEMENTS Print-Abos Digitales Abo
TABLET & SMARTPHONE APPS
Deutschland

Hinterlasse einen Kommentar

  E-Mail Benachrichtigung  
Benachrichtige mich zu: