software:ceph-storage-cluster

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
software:ceph-storage-cluster [2022/09/26 10:10] – [Leistungsanforderungen] stsoftware:ceph-storage-cluster [2024/03/11 23:25] (aktuell) – [Benchmarks] st
Zeile 132: Zeile 132:
   * [[https://www.youtube.com/watch?v=OopRMUYiY5E|Ceph at CERN: A Year in the Life of a Petabyte-Scale Block Storage Service]]   * [[https://www.youtube.com/watch?v=OopRMUYiY5E|Ceph at CERN: A Year in the Life of a Petabyte-Scale Block Storage Service]]
  
 +==== Hyperconverged setup ====
 +
 +[[https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_hyper_converged_infrastructure|Hyperconverged setup]] bedeutet: Storage und Virtualisierungsnodes sind die gleichen Maschinen.
 +
 +Vorteile:
 +  - einfacheres setup
 +  - weniger hardware nötig
 +
 +Nachteile:
 +  - rebalance frisst RAM und CPU
 +  - keine Trennung zwischen Storage und Virtualisierung
 ==== Benchmarks ==== ==== Benchmarks ====
 +
 +[[https://www.thomas-krenn.com/de/wiki/Ceph_Perfomance_Guide_-_Sizing_%26_Testing|Ceph Perfomance Guide - Sizing & Testing]]
  
 rados bench: Installation aus Paketquelle: https://download.ceph.com/ rados bench: Installation aus Paketquelle: https://download.ceph.com/
Zeile 195: Zeile 208:
 <code bash>ceph pg repair 1.4ac</code> <code bash>ceph pg repair 1.4ac</code>
  
 +Für Rados: 
 +<code bash> 
 +rados lspools 
 +rados list-inconsistent-pg {POOL} 
 +rados list-inconsistent-obj {placement-group-ID} --format=json-pretty 
 +</code>
 ===== Monitoring ===== ===== Monitoring =====
  
Zeile 512: Zeile 530:
 Beispiel OSD.0 entfernen: Beispiel OSD.0 entfernen:
 <code bash> <code bash>
 +ceph osd down 10
 +systemctl stop ceph-osd@10
 ceph osd purge 0 --yes-i-really-mean-it ceph osd purge 0 --yes-i-really-mean-it
-ceph osd crush remove osd.0 +# nicht mehr nötig: 
-ceph auth del osd.0+ceph osd crush remove osd.0 
 +ceph auth del osd.0
 # "updated" # "updated"
 # oder: # oder:
Zeile 520: Zeile 541:
 </code> </code>
  
 +wenn das Gerät dann immer noch busy ist:
  
 +<code bash>
 +ls /dev/mapper/ceph-* | xargs -I% -- dmsetup remove %
 +partprobe $DISK
 +sgdisk --zap-all $DISK
 +</code>
 +[[https://github.com/rook/rook/issues/9764|Quelle]]
 ==== Cluster Einstellungen ==== ==== Cluster Einstellungen ====
  
Zeile 1261: Zeile 1289:
  
 <code bash>fusermount -u /media/rdb</code> <code bash>fusermount -u /media/rdb</code>
 +
 +
 +==== RGW (S3) ====
 +
 +[[https://docs.ceph.com/en/latest/man/8/radosgw-admin/|radosgw-admin (man page)]]
 +