Trois noeuds mini, tu peux en perdre un ça passe, la resynchro
peut être très longue et tueuse de perf pour les disques ou le
réseau.
[...]
Ceph c'est bien à partir de 4 noeuds pour être tranquille.
Je disais pas que c'était recommandé, mais possible (disclaimer : je ne le fais pas tourner dans un modèle 2 noeuds OSDs).
Ceph reste un outil très malléable et peu sensible à la panne, si bien configuré :
Pour un cluster avec 2 OSDs, bien configuré, avec 2 réplicas (au lieu de 3), et une autorisation d'écriture si 2 tiers des monitors voit l'OSD, c'est, je pense, jouable :
- Possible donc d'avoir 2 MON/MGR sur tes noeuds OSD, et un 3ème MON/MGR sur une autre machine, plus petite, pour faire ton quorum
- Pas forcément besoin de rebalance si tu as un noeud qui tombe dans cette config, tu reste en dégradé le temps que le noeud revienne. Le rebalance n'arrive qu'au retour du noeud, sur les PG modifiés (ce qui peut être violent si il y a énormément d'écriture, d'où le lien de réplication dédié).
- J'ai un cluster, tri-site, replica 3 avec un réplica par site, mais lecture à 1 -> Si je perds un DC (déjà vécu), pas de rebalance entre les 2 autres sites pour corriger (on s'évite une première période merdique), le rebalance est venu après retour du 3ème site.
- Tout dépend donc de la crush map et des crushs rules ;)
Donc cela dépend vraiment du risque à la perte de donnée ou au write lock.
Pour le réseau faire un réseau séparé physiquement,
Proxmox ne le met pas trop en avant donc par défaut tout le monde
le fait passer sur le réseau par défaut, quand ça reconstruit ça
va saturer ta capacité en fonction de la vitesse des disques.
Lien de réplication inter-noeud OSD indispensable -> Chez nous, on est à 2x10G par noeud OSD.
Pour Ceph, je recommande les docs de Red Hat la dessus, qui sont dispo publiquement et explique bien ce qui est recommandé.
Je ne sais pas ce que propose Proxmox en terme de doc Ceph, je suis en standalone ici.
Cyril