Backup

Backup ist unter Linux dank einer Vielzahl leistungsfähiger Tools ist lösbares Problem. Backup unter Windows wird extra behandelt.

3-2-1 Regel:

• Kopie 1: Sicherung vor Ort und zugreifbar
• Kopie 2: Sicherung örtlich entfernt um lokale Probleme (Brand etc.) zu vermeiden
• Kopie 3: Sicherung offline und anderes Speichermedium (z.B. Magnetband)

sonstige Regeln:

• auch Vollbackups vom System anfertigen, nicht nur von den Daten (damit man schnell wiederherstellen kann ohne vorher das Betriebssystem installieren zu müssen: sog. „bare metal recovery“)
• Backups verifizieren und testweise wiederherstellen
• Backups verschlüsseln (kein Ärger mit verlorenen Bändern etc.)
• Backups sollten nicht von der gleichen Hardware abhängig sein

Bei sehr wichtigen Daten lohnt es sich mehrgleisig zu fahren:

• die Quelldateien (z. B. bei Datenbanken) sichern
• logische Backup ziehen (Klartext-Exporte, SQL/XML-Dumps)
• Syncronisierung (z.B. rsync) auf zweiten Rechner ziehen undv (LVM-) Snapshots anfertigen

• inkrementelle Sicherung
• differenzielle Sicherung
• Vollsicherung (Full-Backup)

• Disaster Recovery mit Linux Tools
• Linux backup software and how-to (Linkliste)
• Folien: Backup mit Linux
• Linux Backups For Real People, Part 1, Part 2 und Part 3.
• Creating a dd/dcfldd Image Using Automated Image & Restore (AIR)
• Linux Complete Backup and Recovery HOWTO
• A simple Linux backup method
• dvdisaster-Projekt: Fehlerkorrektur-Daten für DVDs (Linux, Windows, BSD)
• Your data is protected: but is it protected enough?
• Backing up your system with free software
• Backup/Recovery
• Linux Complete Backup and Recovery HOWTO
• R-Linux: Linux Recovery Software
• Recovering a Linux System
• Recovering files in Linux
• Report: Unbeaufsichtigte Backups - Retten ohne Personal

Wenn man eine Datei gelöscht hat, die noch in Benutzung ist:

• Bring back deleted files with lsof

Die interessanten Befehle dazu sind:

• dd (siehe unten)
• cpio: Creating Tape ARchives using cpio
• afio
• tar
• und rsync (siehe unten).

Evtl. könnte auch Backup Manager oder Tartarus interessant sein.

dd : exaktes kopieren eines Teils bzw. einer ganzen Festplatte.

Achtung: Bei Lesefehlern wird abgebrochen! Das lässt sich mit conv=noerror verhindern.

Z.B. hier das kopieren einer primäre IDE-Festplatte auf eine sekundäre:

dd if=/dev/hda of=/dev/hdb

Man kann auch mit den Parametern count und skip arbeiten, allerdings sollte man schon wissen welche Festplatten (/dev/…) man beschreibt, sonst hat man statt einem Backup die Festplatte leer gemacht.

• dd + gzip:
  • einpacken:

    dd if=/dev/PARTITION | gzip > image.gz

  • wieder entpacken:

    gunzip -c image.gz | dd of=/dev/PARTITION

• Eine Fortschrittsanzeige für dd geht nur sehr umständlich: Zwischendurch kann man von einer anderen Konsole den Befehl

  pkill -USR1 dd

  absetzen, die aktuell kopierten Bytes und die Geschwindigkeit werden dann auf der ursprünglichen Konsole ausgegeben.

alternativ kann man beim Start die Imagedatei wachsen sehen (nur ohne Kompression aussagekräftig:

dd if=/dev/PARTITION of=IMAGE & watch --interval=1 "du -k IMAGE"

Siehe auch: Fortschrittsanzeige bei dd.

dd ist ist der Standard-einstellung (bs=512) sehr langsam, deshalb sollte man

1. drauf achten, dass die Festplatte mit DMA/32-Bit-Zugriff läuft
2. die Blockgröße (=blocksize kurz bs) hochsetzen (Z.B. auf 255x63x512 = 8225280 was heute einer Spur entspricht)

Komplettbeispiel:

hdparm -c 1 -d 1 -k 1 /dev/sda
hdparm -c 1 -d 1 -k 1 /dev/sdb
dd if=/dev/sda of=/dev/sdb bs=8225280 ; sync

Der MBR (Master boot record) einer Festplatte kann z.B. durch anhängen von „bs=512 count=1“ gesichert werden.

• Images mit dd und netcat - gänzlich unverschlüsselt, unsicher, dafür schnell wenn dd eine ausreichend große blocksize (bs) hat:
  • Server (Ziel, Option p muss bei neueren Version weggelassen werden):

    nc -l 1234 | dd bs=8225280 of=sda1.bak.dd

  • Client (Quelle):

    dd if=/dev/sda1 bs=8225280 | nc ServerIP 1234

• Images mit dd+ssh (relativ schnell und verschlüsselt):

  dd if=/dev/sda1 bs=8225280 | ssh -c arcfour Benutzer@Server 'dd bs=8225280 of=sda1.bak.dd'

• Images mit partimage gehen auch über Netzwerk. Es muss ein Server in einer passenden Version (der gleichen?) eingerichtet sein.
• Archive mit tar+ssh (verschlüsselt):

  tar -cv verzeichnis1 verzeichnis2 | ssh Benutzer@Server "tar -x"

Die Dateien/Verzeichnisse werden gepackt, per SSH zum anderen Server getunnelt und dort über die Pipe im Homeverzeichnis des Benutzers entpackt.

• Backup2l+Sitecopy und FTP-Server

• Bacula und sein fork Bareos
• Restic (mehrere backends möglich, u.a. S3 key pro System oder individuell; https://restic.readthedocs.io/en/latest/080_examples.html)
• rclone (kann auch zum mounten benutzt werden, z.B. von restic oder bacula OSS)
• urbackup
• BorgBackup + optional: https://vorta.borgbase.com/|Vorta (GUI)
• BackupPC
• duplicity
• Amanda (bzw. Zmanda)

• Homepage+Download
• Strato-Howto
• Reoback_unter_linux_einrichten.pdf

Create a backup server with Restore (auch LiveCD)

Zur Syncronisation eignet sich Unison (auch mit grafischer Benutzeroberfläche und rsync-Unterstützung) sowie eine Funktion im Dateimanager Krusader.

RSync ist ein Protokoll und Programm zur effizienten Dateiübertragung. Dabei werden nur geänderte (oder gelöschte) Daten übertragen, was enorm Zeit spart. Es ist allerdings eher für 1:1 Beziehungen geeignet, schwierig wird es wenn auf mehr als einer Seite Änderungen vorgenommen werden und mehr als zwei Partner diese vornehmen.

Für eine schnellere Syncronisation zwischen verschiedenen Rechnern reicht eine Zeile:

1. lokales Verzeichnis aktualisieren:

   rsync -avz -e ssh user@host:dir/ dir

2. Verzeichnis auf einem entfernten Rechner anhand des lokalen Verzeichnisses aktualisieren:

   rsync -avz -e ssh dir/ user@host:dir/

Allerdings darf nur eines der beiden Quell/Zielorte per SSH erreicht werden, es muss also von einem Quell/Zielrechner gestart werden.

Um ein Backup von einem Quellverzeichnis (/BACKUP/QUELLPFAD auf dem per SSH erreichbaren Server) auf den lokalen Pfad (/LOKALER/ZIELPFAD) auf dem Client durchzuführen reicht eine einzige Zeile nach dem Schema rsync OPTIONEN Quelle Ziel:

rsync -avz --stats --delete USER@HOST.de:/BACKUP/QUELLPFAD /LOKALER/ZIELPFAD

Im Zweifel einmal den Parameter -n (oder --dry-run für einen Testlauf) anhängen , --delete sorgt nämlich dafür das ALLE lokalen Änderungen gelöscht werden. Man kann natürlich auch statt löschen die Dateien mit einem Suffix (Zusatz) wie .bak versehen (Option --suffix=.bak) oder in ein eigenes Verzeichnis sichern (Option --backup-dir=PFAD); der PFAD kann dabei relativ oder absolut angegeben werden). Bandbreitenlimits kann man mit der Option bwlimit (z.B.--bwlimit=30 für 30 Kilobit pro Sekunde) vorgeben.

Mit der Option --backup-dir kann man Änderungen in ein anderes Verzeichnis sichern.

Unterschieden wird auch nach dem endenden Slash (/):

• /BACKUP/QUELLPFAD meint PFAD und seinen Inhalt
• /BACKUP/QUELLPFAD/ meint nur den Inhalt von QUELLPFAD

Also würde

rsync -avz USER@HOST.de:/BACKUP/QUELLPFAD /LOKALER/ZIELPFAD

Das Verzeichnis QUELLPFAD in /LOKALER/ZIELPFAD anlegen (also /LOKALER/ZIELPFAD/QUELLPFAD) während

rsync -avz USER@HOST.de:/BACKUP/QUELLPFAD/ /LOKALER/ZIELPFAD

Die Dateien unterhalb von /BACKUP/QUELLPFAD/ in /LOKALER/ZIELPFAD anlegt (also /LOKALER/ZIELPFAD/Datei1 …).

# backup (vom Quellrechner aus):
rsync -avz --rsync-path="rsync --fake-super" /Quell-Ordner BENUTZER@BACKUP-RECHNER:/Zielordner/Server1-Quell-Ordner
# restore (vom Quellrechner aus):
rsync -avz --rsync-path="rsync --fake-super" BENUTZER@BACKUP-RECHNER:/Zielordner/Server1-Quell-Ordner /Quell-Ordner

Während der Übertragung bekommen die temporären Teile eine willkürliche Endung und werden nach beendetem Transfer (oder Abbruch!) wieder auf den ursprünglichen Namen umbenannt. Wenn man unterbrochene Übertragungen wiederaufnehmen will, sollte man die Option --partial einsetzen, dabei sollte man beachten das man später nicht das Original mit dem beim Abbruch der Übertragung umbenannten (kleineren) Teil überschreibt.

Wenn man der Datensicherung automatisiert vornehmen will, stört natürlich die Paßwortabfrage von SSH. Deshalb richtet man dafür die Authentifizierung über Zertifikate ein.

Man kann auch einen Rsync-Dienst (daemon) aufsetzen, der dann auf den Port 873 (TCP und UDP) arbeitet. Dazu startet man rsyncd manuell oder lässt von inetd/xinetd aufrufen.

hier ein paar spezielle Beispiele für den upload (-n rausnehmen falls kein Test mehr):

1. rsync -nv --progress --recursive --links --times --size-only --delete /media/src/ /media/dst/

2. Upload-Odner /media/test/transfer (enthält den diff):

   rsync -nv --progress --recursive --links --times --size-only --delete --compare-dest=/media/test/transfer /media/src/ /media/dst/

• Snapshot-Backups mit Rsync
• Backup your data with rsync
• Backup via Rsync
• Howto: Backups und Snapshots von Linux-Servern mit rsync und ssh
• Backups mit rsnapshot
• rsync manual
• rsync

Mit Rsnaphot es möglich durch hardlinks mehrere Versionen der Backups zu behalten. Die Hardlinks sind eine Spezialität Unixartiger (Unixoider-) Betriebssysteme und sorgen dafür das nur geänderte Dateien zusätzlichen Platz belegen. Damit hat man inkrementelle Backups. Die Konfiguration liegt in /etc/rsnapshot.conf, hier kann man die zu sichernden Verzeichnisse definieren die dann (im Allgemeinen) im Verzeichnis /.snapshots/ abgelegt werden.

Verschlüsselte Backups mit ftp und rsync.

Hinter Schloss und Siegel - Backups auf nicht vertrauenswürdige FTP-Server ftplicity download How-to: Backups mit ftplicity/duplicity

• rdiff-backup HOWTO
• rdiff-backup Documentation
• rdiff-backup-Projektseite

csync eignet sich zur Synchronisation zwischen mehr als zwei Partnern auf denen geschrieben wird. Im Gegensatz zur rsync muss hier auch nicht der ganze Dateibaum durchkämmt werden sondern es wird eine lokale Datenbank geführt welche Dateien geändert wurden. Mit lsyncd kann der Syncronisationsprozess direkt nach einer Änderung (inotify) ausgeführt werden, siehe Anleitung: https://icicimov.github.io/blog/devops/File-system-sync-with-Csync2-and-Lsyncd/ .

• Installation:

  apt install csync2

• inetd konfigurieren:

  apt purge openbsd-inetd
  apt install xinetd
  systemctl is-enabled xinetd
  systemctl restart xinetd

• Schlüssel generieren:

  csync2 -k /etc/csync2.key
  openssl genrsa -out /etc/csync2_ssl_key.pem 2048
  openssl req -batch -new -key /etc/csync2_ssl_key.pem -out /etc/csync2_ssl_cert.csr
  openssl x509 -req -days 9999 -in /etc/csync2_ssl_cert.csr  -signkey /etc/csync2_ssl_key.pem  -out /etc/csync2_ssl_cert.pem

• config-Dateien auf die anderen Partner kopieren incl. keys:

  scp /etc/csync2* NODE2:/etc/
  scp /etc/csync2* NODE3:/etc/

• Beispiel einer Samba4-Sysvol-Syncronisation /etc/csync2.cfg:

  ignore uid;
  ignore gid;
  ignore mod;
  group samba4
  {
      host DC1;
      host DC2;
      host DC3;
      key /etc/csync2.key;
      include /var/lib/samba/sysvol/;
      exclude .*;
      action {
          exec "samba-tool ntacl sysvolreset";
      }
  }

• testen:

  csync2 -xv

• Auf allen Beteiligten Nodes in den Crontabs den sync setzen (Minuten variieren damit nicht alle drei Nodes zur gleichen Sekunden syncen): /etc/crontab

  */10 *    * * *    root    csync2 -x

weitere Links:

• http://www.wir1234.de/wiki/doku.php?id=csync2