Von dem hier vor einiger Zeit von mir vorgestellten Backup Programm ist jetzt die Version 2.0 als Release Candidate 2 erschienen, der sehr nahe (wenn nicht identisch) zur endgültigen Version sein wird. Um es kurz zu beschreiben – StoreBackup bietet bereits in Version 1.19:
- Sicherung von einem Verzeichnis in ein anderes (d.h. sinnvollerweise auf eine andere Festplatte).
- Einfaches Zurücksichern aus dem Backup. Die Daten liegen in einem transparenten Format als Dateien im Backup Verzeichnis.
- Die Dateien können im Backup (falls gewünscht) komprimiert werden, was Plattenplatz spart.
- Schon im Backup befindliche Dateien werden über Hardlinks miteinander verbunden. Dieses erfolgt nach dem Inhalt der Dateien, daher wird z.B. das Kopieren oder Umbennen von Dateien oder Pfaden berücksichtigt.
- Mehrere unabhängige Backups können auf Dateien identischen Inhalts verweisen.
- StoreBackup ist schnell und kann auch für große Datenmengen eingesetzt werden.
Es gibt noch viele weitere Features, die ich hier aber nicht aufzählen will. Ich möchte hier beschreiben, was in der Version 2 grundsätzlich neu ist (nur die wichtigsten Unterschiede):
- Bei einem neuen Backup ändern sich normalerweise nur sehr wenige Dateien. Diese müssen dann kopiert bzw. komprimiert werden. Da storeBackup immer vollständige Backups erzeugt (was diverse Vorteile hat), müssen die restlichen Dateien als Hard Links angelegt werden. Dieses ist zwar sehr schnell, dauert jedoch – insbesondere über NFS – bei sehr vielen Dateien / Hard Links seine Zeit. Die neue Option “lateLinks” ermöglicht es nun, ein Backup ohne die oben erwähnten Hard Links zu erzeugen. Diese werden mit einem mitgelieferten Tool dann später auf dem Server aus einer Protokolldatei konstruiert. Das Ganze bedeutet eine Performancesteigerung um einen Faktor 2-4 im LAN für das direkte Backup. Auf WAN Verbindungen (VPN) habe ich eine Verbesserung um bis zu einem Faktor 70 messen können.
- Mit der Option “lateCompress” kann das Komprimieren von neuen Dateien ebenfalls auf den Server verlagert werden.
- Mit einem neuen Suchprogramm kann in den Backups nach Regeln gesucht werden. Diese Regeln sind eine beliebige Kombination von Dateigröße, UID, GID, Datei/Pfadname, Alter einer Datei (relativ oder absolut), Rechte oder Dateityp.
- Das Sichern von special files (wie Device Nodes) ist jetzt ebenfalls möglich.
- Die Einstellungen in der Konfigurationsdatei können jetzt in der Kommandozeile überschrieben werden.
- Es gibt endlich eine ausführliche Dokumentation, sowohl über eine Homepage, als auch herunterladbar als pdf Datei
Was kommt danach?
Momentan befindet sich schon Version 3.0 in Arbeit.
Sie wird es als neues Feature ermöglichen, Dateien blockweise (also nicht als Ganzes wie bisher) zu untersuchen und zu sichern. Dieses ist z.B. für Image Dateien interessant. Es wird auch hier weiterhin möglich sein, die Daten aus dem Backup völlig ohne Tools zu restaurieren. (Natürlich wird das restore-Tool das auch unterstützen.)
Über die oben beschriebenen Regeln wird es möglich sein, die Dateien, die blockweise untersucht werden sollen zu spezifizieren, z.B. alle Dateien im Verzeichnis /opt/vmware, die größer als 100MB sind.
Neues zu storeBackup wird wie schon vorher über freshmeat.net publiziert, die Webseite hat sich allerdings geändert!
[1] http://freshmeat.net/projects/storebackup/
[2] http://savannah.gnu.org/projects/storebackup
Ich verwende storeBackup schon seit Jahren und möchte es nicht mehr missen. Es ist mit ein Grund weshalb ich mein Home auf einen 24/7 Server habe und nur via NFS Mounte. Das Backup (damals noch auf einen 166-er P1) lief dann bei ca. 100GB – 16 Stunden. Heute schafft mein AMD BE2300 und 64bit OS ca. 200GB Täglich unter 1 Stunde. Dieses Backup über mehrere Tage hat mir schon beim langsamen Tod einer Festplatte geholfen Dateien zu Retten, da in den letzten Backups dann schon die defekten Dateien gesichert wurden (war auch beim ersten Auftreten eine HD-Fehlers schon so –… Mehr »
Wie kopiere ich die Daten der alten Sicherung (mit den Teilweise geretteten Dateien) incl. Hardlinks auf eine andere HD? Mir ist nicht ganz klar, was gemeint ist. Wenn einfach das Backup Directory (in Version 1.x “targetDir”, jetzt in 2.0 “backupDir”) gemeint ist, dann geht es ganz einfach, z.B. entweder mit tar oder auch mit cp: # tar cvf – | (cd ; tar xpf -) # cp -av Hierbei bedeuten der Pfad zum vorhandenen Backup und der Pfad (auf einer anderen Platte) zur zu erstellenden Kopie. Falls gemeint sein sollte, ein Backup so zurückzusichern, das im Original vorhandene Hardlinks wiederhergestellt… Mehr »
Erst mal Danke für Deine Antwort. Zu Deiner Antwort zu: Wie kopiere ich die Daten der alten Sicherung (mit den Teilweise geretteten Dateien) incl. Hardlinks auf eine andere HD? Es ist tatsächlich das Verschieben gemeint. Ich habe die Daten auch per # cp -av Verschoben. Bis meine bisher 150GB Sicherung meine 300GB HD gefüllt hatte. Ein kurzes überprüfen zeigte dann auch, dass beim einfachen cp bzw. mv die Hardlinks durch Kopien ersetzt werden. Was dann zu diesem Überlaufen führte. Ich habe dann anschließend mit einem kleinem Script und freedup -0 < Pfad_N+1> die Hardlinks wieder herstellen lassen. Aber hat einige… Mehr »
Erst mal Danke für Deine Antwort. Gerne. und ich habe manchmal auch Fehlermeldungen alla Linking failed.: Too many links erhalten. Das kann ich mir nur so erklären, dass unterschiedliche Filesysteme auf den Partitionen waren – und Du dann von einem Filesystem, das viele Hardlinks pro Inode unterstützt (z.B. Reiserfs mit 64535) auf eins mit weniger Hardlinks (z.B. ext2 mit 32000) kopiert hast (bei 32 Bit Linux). (Eine weitere Erklärungsmöglichkeit ist natürlich ein korruptes Dateisystem.) StoreBackup berücksichtigt das Problem mit der begrenzten Anzahl Hardlinks und legt dann eine neue Kopie an, auf die dann wiederum verlinkt wird. Eine Lösung wäre also,… Mehr »
Zu: …das viele Hardlinks pro Inode unterstützt (z.B. Reiserfs mit 64535) auf eins mit weniger Hardlinks (z.B. ext2 mit 32000) kopiert hast (bei 32 Bit Linux). Das kann es gewesen sein, Quelle war tatsächlich eine ReiserFS-Partition und ziel ein externes Laufwerk welches mit ext3 formatiert war. Evtl. sind dann die darüber hinaus gehenden Hardlinks durch Kopien ersetzt worden (wie gesagt, handelt es sich schon um riesen Datenmengen). Zu: …In der Datei .md5CheckSums.bz2 steht die md5 Summe jeder Datei (und zwar die von der ev. unkomprimierten Originaldatei). Hiermit könnte man feststellen, ob die Datei nachträglich beschädigt wurde. Werde ich mal versuchen.… Mehr »
Hiermit könnte man feststellen, ob die Datei nachträglich beschädigt wurde. Werde ich mal versuchen. Außerdem ist mir eingefallen, dass evtl. ein diff auf die ältesten Dateien helfen könnte, . . . storeBackup arbeitet folgendermaßen: Es überprüft, ob sich gegenüber dem vorherigen Backup für eine Datei Größe oder die Uhrzeit (ctime, mtime) geändert hat. Wenn nicht, dann wird die md5 Summe vom vorigen Backup übernommen und ein Hard Link gesetzt (die md5 Summe spielt in diesem Fall also eigentlich keine Rolle). Wenn sich Größe oder Uhrzeit geändert haben oder exakt diese Datei vorher nicht existiert hat, wird die md5 Summe berechnet… Mehr »
Hallo Heinz-Josef,
erstmal ein herzliches Dankeschön, für Deine ausführlichen Antworten. Diese Persönliche aufgeschlossene Art der meisten Entwickler im Linux Umfeld, macht meiner Meinung nach einen großen Teil seines Charmes aus :-)
Ich Danke Dir erst mal für die Antworten und das Hervoragende und meiner Ansicht nach konkurrenzlose Datensicherungs-Tool!
Ciao
Ulf
Wollte einfach nur Danke sagen für das tolle Programm.
Hat mir sehr geholfen, nachdem ich (aus Dummheit :) mein /home beschädigt hatte.
Sehr durchdachtes Konzept.