Warum Ceph und nicht einfach ZFS-Replikation?
Proxmox bringt mit ZFS-Replikation bereits eine einfache HA-Lösung mit. Für die meisten Setups mit 2-3 Nodes reicht das völlig. Ceph lohnt sich erst, wenn synchrone Replikation wirklich nötig ist – also wenn ein Node ausfallen darf, ohne dass auch nur eine Transaktion verloren geht. Das kostet: mehr Netzwerk-Bandbreite, mehr CPU, mehr Komplexität. Wer Ceph nur einsetzt, weil es "enterprise" klingt, baut sich unnötigen Betriebsaufwand ein.
Voraussetzungen, die gerne übersehen werden
- Mindestens 3 Nodes – nicht als Empfehlung, sondern als harte Grenze für Quorum. Mit 2 Nodes hat man bei einem Ausfall sofort ein Split-Brain-Risiko.
- Dediziertes Cluster-Netzwerk, idealerweich 10 GbE oder mehr, physisch getrennt vom VM-Traffic. Corosync (die Cluster-Kommunikation) reagiert empfindlich auf Latenz – über ein überlastetes 1 GbE-Netz kommt es zu Fencing-Events, die Nodes grundlos aus dem Cluster werfen.
- Separate Platten für OSDs, keine Partitionen auf der System-SSD. Ceph will die Disk komplett für sich.
Proxmox Cluster erstellen
# Node 1
pvecm create mein-cluster --link0 192.168.10.1
# Node 2 und 3 beitreten
pvecm add 192.168.10.1 --link0 192.168.10.2
pvecm add 192.168.10.1 --link0 192.168.10.3
pvecm status
Ceph installieren
Proxmox VE 9.x installiert standardmäßig Ceph Tentacle (20.2) – Reef (18.2) läuft zum Auslauf und sollte für Neuinstallationen nicht mehr gewählt werden. Wer noch auf PVE 8 unterwegs ist, bekommt Squid (19.2) als aktuelle stabile Wahl.
# Auf ALLEN Nodes – ohne --version nimmt Proxmox automatisch die aktuell empfohlene Ceph-Version
pveceph install
# Initialisieren (nur Node 1)
pveceph init --network 192.168.10.0/24
# Monitor auf jedem Node
pveceph mon create
# OSDs hinzufügen (je Node für jede Ceph-Disk)
pveceph osd create /dev/sdb
pveceph osd create /dev/sdc
ceph status
Wenn ceph status nicht HEALTH_OK zeigt, sondern HEALTH_WARN mit "clock skew detected" – NTP auf allen Nodes prüfen. Das ist der mit Abstand häufigste erste Fehler.
Pool und Storage
pveceph pool create vm-storage --size 3
pvesm add rbd vm-ceph --pool vm-storage --content images,rootdir
pvesm status
--size 3 bedeutet drei Kopien jedes Objekts. Bei 3 Nodes ist das die einzig sinnvolle Wahl – mit size 2 überlebt man zwar einen Node-Ausfall, riskiert bei einem zweiten gleichzeitigen Defekt aber echten Datenverlust.
HA konfigurieren
ha-manager groupadd ha-gruppe --nodes pve1,pve2,pve3
ha-manager add vm:100 --group ha-gruppe --max_restart 3
ha-manager status
Reale Performance-Erwartung
Über 1 GbE ist Ceph für produktive VM-Workloads ungeeignet – rechnet mit 30-50% Einbruch bei Schreiblast gegenüber lokalem Storage. Über 10 GbE mit NVMe-OSDs sind 10-20% Overhead realistisch, bei gut dimensionierter Hardware auch weniger. Wer auf Spinning Disks setzt, sollte die Erwartungen nochmal deutlich senken – Ceph ist IOPS-hungrig.
Fazit
Proxmox + Ceph ersetzt ein SAN für die meisten KMU-Workloads – aber nur, wenn Netzwerk und Node-Anzahl von Anfang an sauber dimensioniert sind. Wer mit 2 Nodes und 1 GbE startet und dann Enterprise-Performance erwartet, wird enttäuscht.
Proxmox-Virtualisierung ist meine Kernkompetenz — für Unternehmen in Heidelberg, Mannheim, Ludwigshafen und dem Rhein-Neckar-Kreis. Projekt anfragen.