Hello,
Le 04/12/2019 à 13:32, frsag@jack.fr.eu.org a écrit :
Salut,
ZFS est un système de fichier local Par essence, il n'est pas scalable sainement : comment faire un ZFS de 200TB ?
Ici 2 NAS de 750To distant de ~1km (sur 2 datacentres), splittés chacun en 3 gros zpool en raidz3 et 1 plus petit en raidz2. Chacun est connecté avec un brin SFP+ de 10Gb/s. Zfs send / receive chaque nuit, avec le démon znapzend (https://github.com/oetiker/znapzend , par Tobias Oetiker, le créateur de rrd/rrdtool). Sur ZoL, l'état des disques peut aussi être surveillé avec le démon "zed" inclus.
0 soucis, hormis pour mixer divers protocoles d'exposition (NFS, Samba, iscsi...) sur certaines version de ZFS. Le gros plus, je trouve, c'est de pouvoir transférer d'aussi gros volumes en mode bloc sur le lien dédié en 10Gb/s (les utilisateurs y accédent en 2Gb/s par 1 simple agrégat de 2 lien en GbE) dans des fenêtres de temps assez réduites et de pouvoir naviguer dans les snapshots Zfs à chaud pour faire des restauration de fichiers...
Matériel :
Dell R740xp + baie MD1280 (tu peux faire de l'ultra-dense, jusqu'à 84 disques et ça prend 5U : https://i.dell.com/sites/doccontent/shared-content/data-sheets/en/Documents/...) en multipath SAS. Pas de firmware spécifique Dell sur les disques. Tu peux connecter jusqu'à 2 baies par serveur. Il existe encore plus dense, notamment chez supermicro, mais le support et les conditions étaient meilleures chez Dell pour nous. Par contre, ça pèse son poids, donc bien faire gaffe à la livraison...
ZFS, c'est : ultra-robuste, opensource, et une communauté (via liste de diffusion) très (ré)active. Il faut juste bien prendre le temps de bien lire la doc avant de se lancer dedans pour un gros projet.
Maintenant, si c'était à refaire, je partirai peut-être sur Ceph, mais ce n'était pas aussi stable et utilisé à l'époque, et étant donné le ratio homme/temps dispo que j'avais, j'ai fait au plus simple / éprouvé / robuste.
My 2 cts,
Rémy.
Cordialement,
On 12/4/19 1:00 PM, Jean-Christophe Janczak via FRsAG wrote:
Hello Mes 2 cents au passage ... pour le côté open source et au risque de déterrer un troll ;-)
Pour le côté scalable « sur place » tu as ZFS qui est ton ami. ;-) Il suffit de remplacer par des disques plus gros pour étendre le stockage de tes grappes Raid-Zx :-)
Le hic c’est que ZFS c’est pas Cluster ready de base en full open source .....
- Mais bon c’est proddé depuis 2005 au moins sur Solaris, Illumos puis plus tard Freebsd etc ....
- c’est relativement robuste pour les crash test que j’ai pu faire en home lab.
- tu peux faire du ZFS send et receive
Si tu veux du cluster
c’est TrueNas (payant)
nexenta.com
https://napp-it.org/ avec du support récemment ; j’avais découvert en 2008/2009 mais l’interface freenas était plus sympa à gérer. ; j’ai découvert une proc pdf il y a qq temps pour faire du clustering assez poussé (pas testé)
aussi FreeBSD avec la fonction HAST (ha storage)
et enfin Nas4Free renommé XigmaNas avec du clustering HAST intègré mais pas assez documenté ni retours d’expérience. J’ai vu passer des mots clef comme clustering split brain (pas assez creusé, pas testé mais pas rassurant ! Qqn a des retours sur le sujet sur la liste ? )
Côté Ceph je ne sais pas si on peux faire un équivalent de ZFS send | receive (?)
Voilà. Tu seras peut être un peu plus avancé .... ou pas ;-)
Bonne journée.
Merci aux bonnes âmes qui voudraient rebondir sur le sujet et communiquer des vrais REX sur ZFS en prod de leur côté :-)
Message envoyé depuis un terminal embarqué / Message sent from an embedded terminal.
Le 3 déc. 2019 à 17:41, Guillaume via FRsAG frsag@frsag.org a écrit :
Bien le bonsoir,
Etant nouveau sur la ML, j’espère m’y prendre correctement.
Pour faire très simple, je suis à la recherche d’une solution de stockage scalable, HA, ne nécéssitant pas une infrastucture démesurée. L’idéal étant de pouvoir faire de la réplication Multi Datacenter ( 4ms environs ) et de commencer petit. J’entends par là entre 5To et 10To, à terme environ 100To.
Avez-vous des solutions intéréssantes, des retours d’expériences qui pourraient m’aider dans ma recherche ?
J’ai déjà testé Ceph, j’avais été relativement déçu des performances. DrBD fait le taff mais niveau scalabilité, on repassera plus tard, et en cas de coupure d’electricité, très compliqué d’avoir quelque chose de correct. Je me pense sur une solution OpenSource/Maison car vu le tarif des baies de stockage….
Merci par avance.
Bien cordialement
Guillaume P.
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/