software:ceph-storage-cluster

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung		 Vorhergehende Überarbeitung
software:ceph-storage-cluster [2022/09/22 20:35] – [ceph storage cluster] stsoftware:ceph-storage-cluster [2024/03/11 23:25] (aktuell) – [Benchmarks] st
Zeile 1: Zeile 1:
 ====== ceph storage cluster ====== ====== ceph storage cluster ======
  
-Ceph ist eine in "die Breite" skalierende software-basierte Storagelösung. Es können Einzelfestplatten in handelsüblichen Computern zu einem ausfallsicheren Cluster vereint werden. +Ceph ist eine in "die Breite" skalierende software-basierte Storagelösung mit Fokus auf Ausfallsicherheit. Es können Einzelfestplatten in handelsüblichen Computern zu einem ausfallsicheren Cluster vereint werden. Alle folgenden Zugriffsmethoden werden intern auf Objekte abgebildet.
-Alle folgenden Zugriffsmethoden werden intern auf Objekte abgebildet.+
  
   * **librados**: Direktzugriff für Anwendungen, Binding for div. Sprachen.   * **librados**: Direktzugriff für Anwendungen, Binding for div. Sprachen.
Zeile 69: Zeile 68:
 **Was man allgemein wissen muss**: **Was man allgemein wissen muss**:
   * Lesezugriffe werden auf dem primär (per CRUSH MAP) zuständigen OSD durchgeführt, nicht parallel auf auf allen OSD die Kopien haben   * Lesezugriffe werden auf dem primär (per CRUSH MAP) zuständigen OSD durchgeführt, nicht parallel auf auf allen OSD die Kopien haben
-  * nur wenn kein bluestore benutzt wird: journaling führt zur Halbierung der I/O wenn dafür kein extra Gerät gewählt wurde (zuerst wird sogar mit O_DIRECT and O_DSYNC geschrieben), hier sind dedizierte SSDs die erste Wahl.+  * nur wenn kein bluestore benutzt wird: journaling führt zur Halbierung der I/O wenn dafür kein extra Gerät gewählt wurde (zuerst wird sogar mit O_DIRECT and O_DSYNC geschrieben), hier sind dedizierte SSDs/NVMe die erste Wahl.
   * scrubbing führt zu Leistungseinbrüchen, die [[http://docs.ceph.com/docs/master/rados/configuration/osd-config-ref/|Intervalle sollten angepasst werden]]:<file>[global]   * scrubbing führt zu Leistungseinbrüchen, die [[http://docs.ceph.com/docs/master/rados/configuration/osd-config-ref/|Intervalle sollten angepasst werden]]:<file>[global]
 # 1 day: 86400 # 1 day: 86400
Zeile 88: Zeile 87:
     * [[http://docs.ceph.com/docs/jewel/radosgw/multisite/|RGW Multisite]]: Master-Master-Setup     * [[http://docs.ceph.com/docs/jewel/radosgw/multisite/|RGW Multisite]]: Master-Master-Setup
     * über CRUSH-Rules kann die geforderte örtliche Verteilung (Datenzentren, Brandabschnitte) eingestellt werden, dazu müssen die Verbindungen performant genug sein (niedrige Latenz, Bandbreite)     * über CRUSH-Rules kann die geforderte örtliche Verteilung (Datenzentren, Brandabschnitte) eingestellt werden, dazu müssen die Verbindungen performant genug sein (niedrige Latenz, Bandbreite)
 +
 +**Latenz**: Da die Daten über Netzwerk, CPU, RAM des lokalen und entfernter Rechner geschleust werden müssen, ist die Leistung nicht mit lokalen Datenträgern vergleichbar. Insbesondere die Latenz steigt deutlich an was für bestimmte Zeitkritische Applikationen (z.B. Datenbanken) problematisch sein kann. Insbesondere die Ausreißer nach oben können problematisch sein.
 +Möglicherweise sind 
 +
 +''ceph osd perf'' zeigt die aktuell performance der OSDs an.
 +
 +nativ lokal möglich:
 +  * NVMe + SSD (lokal): ~0,25ms
 +  * disk 7200rpm (lokal): 4,17ms
 +  * disk 5400rpm (lokal): 5,56ms
 +
 +siehe auch:
 +  * [[https://www.proxmox.com/en/downloads/item/proxmox-ve-ceph-benchmark-2020-09|Ceph Benchmark 2020/09 rev.2]].
 +  * [[https://www.heise.de/select/ix/2018/2/1517701858523828|Performance-Tuning für Ceph]] (2018)
 +
  
 **Anforderungen allgemein**: **Anforderungen allgemein**:
Zeile 118: Zeile 132:
   * [[https://www.youtube.com/watch?v=OopRMUYiY5E|Ceph at CERN: A Year in the Life of a Petabyte-Scale Block Storage Service]]   * [[https://www.youtube.com/watch?v=OopRMUYiY5E|Ceph at CERN: A Year in the Life of a Petabyte-Scale Block Storage Service]]
  
 +==== Hyperconverged setup ====
 +
 +[[https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_hyper_converged_infrastructure|Hyperconverged setup]] bedeutet: Storage und Virtualisierungsnodes sind die gleichen Maschinen.
 +
 +Vorteile:
 +  - einfacheres setup
 +  - weniger hardware nötig
 +
 +Nachteile:
 +  - rebalance frisst RAM und CPU
 +  - keine Trennung zwischen Storage und Virtualisierung
 ==== Benchmarks ==== ==== Benchmarks ====
 +
 +[[https://www.thomas-krenn.com/de/wiki/Ceph_Perfomance_Guide_-_Sizing_%26_Testing|Ceph Perfomance Guide - Sizing & Testing]]
  
 rados bench: Installation aus Paketquelle: https://download.ceph.com/ rados bench: Installation aus Paketquelle: https://download.ceph.com/
Zeile 181: Zeile 208:
 <code bash>ceph pg repair 1.4ac</code> <code bash>ceph pg repair 1.4ac</code>
  
 +Für Rados: 
 +<code bash> 
 +rados lspools 
 +rados list-inconsistent-pg {POOL} 
 +rados list-inconsistent-obj {placement-group-ID} --format=json-pretty 
 +</code>
 ===== Monitoring ===== ===== Monitoring =====
  
Zeile 498: Zeile 530:
 Beispiel OSD.0 entfernen: Beispiel OSD.0 entfernen:
 <code bash> <code bash>
 +ceph osd down 10
 +systemctl stop ceph-osd@10
 ceph osd purge 0 --yes-i-really-mean-it ceph osd purge 0 --yes-i-really-mean-it
-ceph osd crush remove osd.0 +# nicht mehr nötig: 
-ceph auth del osd.0+# ceph osd crush remove osd.0 
 +# ceph auth del osd.0
 # "updated" # "updated"
 # oder: # oder:
Zeile 506: Zeile 541:
 </code> </code>
  
 +wenn das Gerät dann immer noch busy ist:
  
 +<code bash>
 +ls /dev/mapper/ceph-* | xargs -I% -- dmsetup remove %
 +partprobe $DISK
 +sgdisk --zap-all $DISK
 +</code>
 +[[https://github.com/rook/rook/issues/9764|Quelle]]
 ==== Cluster Einstellungen ==== ==== Cluster Einstellungen ====
  
Zeile 1247: Zeile 1289:
  
 <code bash>fusermount -u /media/rdb</code> <code bash>fusermount -u /media/rdb</code>
 +
 +
 +==== RGW (S3) ====
 +
 +[[https://docs.ceph.com/en/latest/man/8/radosgw-admin/|radosgw-admin (man page)]]
 +