Question sur solution de stockage pour fermes VmWare
Bonsoir. Je suis à la recherche dun solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. Jai une centaine de systèmes virtuels à héberger par DC. Jai 2 DC donc 200 OS virtuel. A lheure actuel jai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès dIsilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là jai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI. Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois cest le prix et le cout de maintenance. Le désagrément cest que jai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là cest un faux problème au final. Je reste convaincu que jaurais plus de perfs avec des serveurs en NFS et du DAS au cul quune solution SAN/NAS ou autre. Jaimerais avoir des retours dexpérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare. Merci Sylvain.
Bonsoir, Première chose, un NAS en opensource avec du DAS n'est pas compatible avec le support VMware. (Car non présent dans la HCL VMware => http://www.vmware.com/go/hcl) Ensuite, tu parle de volumétrie, mais pas d'IOPS. Hors dans le cadre de la virtualisation (peu importe l'éditeur), le nerf de la guerre se situe dans les perfs IOPS. La volumétrie deviens très vite un sujet secondaire, le nombres d'axes nécessaires à l'obtention des perfs nécessaire apportant très souvent une sur-capacité de stockage. Ensuite tu parle de volumes de 5To, mais la taille max d'un VMDK est de 2To (et d'un datastore sur une autre technique qu'iSCSI aussi). Pourquoi 5 To ? Tes VMs ne peuvent pas être réparties sur X LUNs, à raison de Y VMs par LUNs ?(avec 1 < Y < 13, suivant le workload de tes VMs). Pour le reste, d'expérience pour avoir travailler sur des baies NetApp/EMC/EQL/HP, les perfs se valent. Et l'iSCSI n'est pas si mal si on respecte quelques règles "simples" d'architecture. Après, comme tu l'as dis, ce qui fera la différence, c'est le prix. Sylvain. 2011/4/29 Sylvain Rutten <srutten@gmail.com>:
Bonsoir.
Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare.
J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel.
A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque.
Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster.
Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source.
Les avantages que je vois c’est le prix et le cout de maintenance.
Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final.
Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre.
J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir, Le 29/04/2011 22:26, Sylvain Huguet a écrit :
Pour le reste, d'expérience pour avoir travailler sur des baies NetApp/EMC/EQL/HP, les perfs se valent. Et l'iSCSI n'est pas si mal si on respecte quelques règles "simples" d'architecture.
Tu as regardé où était le goulot d'étranglement sur ton NetApp? Le 2050 va sortir du catalogue et n'est pas un foudre de guerre... Tu peux toujours upgrader la tete et/ou ajouter des disques... Avec une tete un peu plus haut de gamme (FAS3210 par ex.), tu peux ajouter une carte FlashCache: c'est super efficace. Evidemment, tout ca, ca coute des sous... Hugues.
Bah j'en ai marre de servir de vache à lait pour les constructeurs. J'ai environ 40 disques alors bon pour chacun de mes 2050. En plus au final je suis en SAS et la Bp max est que de 3Go. Je viens de trouver une doc intéressante http://www.layer47.com/download/netapp_and_vmware_virtual_infrastructure_whi tepaper.pdf Mais bon là ce sont les IO. De plus c'est je trouve très compliqué pour pas grand-chose. Ça coute très cher. Ils se grattent sur les tarifs du support. Alors certes le raid4dp c'est séduisant sur le papier mais point de vu perf c'est bof bof. Et trouver des sysadmin qui maitrise le truc il y en a mais pas des masse non plus. Ça rassure les DSI mais les mecs ils pensent qu'avec ça ils pourront tous mettre dessus. Il n'y a que le commercial qui te la vendu pour y croire. C'est pas lui qui passe des nuits à faire des crash recovery sur tes systèmes. J'avais des sql, mysql, exchange et autre cochonnerie dessus. Bah depuis que je suis passé en DAS j'ai plus jamais de problème de perfs et on passe des nuits pénard et points de vu perfs c'est le jour et la nuit. Alors bon j'aimerais partir sur des solutions KISS pour mes VMware ;) J'en aurais bien tôt 2 à vendre si ça t'intéresse :o -----Message d'origine----- De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de Hugues Brunel Envoyé : samedi 30 avril 2011 00:02 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare Bonsoir, Le 29/04/2011 22:26, Sylvain Huguet a écrit :
Pour le reste, d'expérience pour avoir travailler sur des baies NetApp/EMC/EQL/HP, les perfs se valent. Et l'iSCSI n'est pas si mal si on respecte quelques règles "simples" d'architecture.
Tu as regardé où était le goulot d'étranglement sur ton NetApp? Le 2050 va sortir du catalogue et n'est pas un foudre de guerre... Tu peux toujours upgrader la tete et/ou ajouter des disques... Avec une tete un peu plus haut de gamme (FAS3210 par ex.), tu peux ajouter une carte FlashCache: c'est super efficace. Evidemment, tout ca, ca coute des sous... Hugues. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir, Première chose, un NAS en opensource avec du DAS n'est pas compatible avec le support VMware. (Car non présent dans la HCL VMware => http://www.vmware.com/go/hcl) >>Mais ils supporte du Dell comme constructeur alors c'est peut être jouable si je mets un chapeau rouge sur ma machine ;) Ensuite, tu parle de volumétrie, mais pas d'IOPS. Hors dans le cadre de la virtualisation (peu importe l'éditeur), le nerf de la guerre se situe dans les perfs IOPS. La volumétrie deviens très vite un sujet secondaire, le nombres d'axes nécessaires à l'obtention des perfs nécessaire apportant très souvent une sur-capacité de stockage. >>Je ne suis pas rentré dans les détails. Mais je suis d'accord avec toi. Mais en ce qui concerne les IO c'est souvent les mêmes disques que les constructeurs utilisent c'est juste qu'ils les signent différemment pour te forcer à passer par leur revendeur. Donc bon. Pour résumer il faut avoir un max de disques de petite volumétrie. >>Ensuite tu compenses aussi avec le cache de ton contrôleur. >>Mais pour avoir fait pas mal de bench entre des disques de 15k en 72, 146, 300, 450 et 600 avec des 2,5 ou 3,5 pouces pour les disques de plus de 146Go j'ai pas vu de grande différences en restant iso sur ton fs. En revanche je pense qu'il faut aussi que je fasse une étude sur les types de FS pour mon la solutions que je retiendrais si elle est open source. (Pour infos mes bench avait révéler qu'au nv Io le top ct les disques de 146Go de 15k en 2,5p) >>Apres il faut voir aussi que vmware travaille avec des blocks de lecture assez gros pour éviter la fragmentation des fichiers sur les FS . Donc les lectures sont quand même plus linéaire que random je pense. Ensuite tu parle de volumes de 5To, mais la taille max d'un VMDK est de 2To (et d'un datastore sur une autre technique qu'iSCSI aussi). Pourquoi 5 To ? Tes VMs ne peuvent pas être réparties sur X LUNs, à raison de Y VMs par LUNs ?(avec 1 < Y < 13, suivant le workload de tes VMs). >>Tu me parles de la taille des fichiers VMDK. Moi je parle de taille de volume du Datastore qui est max de 16 To pour du NFS. Je viens de trouver une doc de Netapp sur les best practices qui semble très intéressante. http://www.layer47.com/download/netapp_and_vmware_virtual_infrastructure_whi... >>Et l'idée est de présenter plusieurs serveurs NFS avec une capa de 5 To chacun. Donc l'idée c'est de faire 2x3 Datastore de 5 To car j'ai besoin de 15 to environ. Et là pour le coup j'ai-je pense que j'aligne pas mal d'IO et j'évite les points de contention dû à la tête de mon contrôleur SAN. Pour le reste, d'expérience pour avoir travailler sur des baies NetApp/EMC/EQL/HP, les perfs se valent. Et l'iSCSI n'est pas si mal si on respecte quelques règles "simples" d'architecture. >>Je suis d'accord mais j'aime pas le principe d'encapsulation de protocole pour du storage. Après, comme tu l'as dis, ce qui fera la différence, c'est le prix. >>Oui mais ça ne me dérange pas de dépenser dans une black box mais il faut qu'elle est une valeur ajoutée. >>Isilon me semblait pas mal mais je viens de passer deux semaines de nego et je connais tj pas les prix liste et les remises qu'ils me font. Alors certes j'ai un prix mais j'aimerais bien connaitre la remise qu'ils me font :) >>Mais là, la solutions me couterais juste 2x moins cher quand même si je prends des R510 et de la MD1200 en x 6 >>Et pour être franc même en prenant des FusionIO version octo à 5To je ne serais peut-être pas à plus de 20% plus cher qu'Isilon. Et là pour le coup coté IO......... :) >>Mais merci en tout cas pour le coup du support il faut que je valide ça avec VmWare, même si je ne compte pas prendre plus d'un an de support ce qui est le minima. Je n'y avais pas pensé. Sylvain. 2011/4/29 Sylvain Rutten <srutten@gmail.com>:
Bonsoir.
Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare.
J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel.
A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque.
Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster.
Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source.
Les avantages que je vois c’est le prix et le cout de maintenance.
Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final.
Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre.
J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 30 avril 2011 20:53, "Vincent Duvernet (Nolmë Informatique)" < vincent.duvernet@nolme.com> a écrit :
Sur toutes tes VMs, est ce qu'elles ont toutes besoins de performances ? Est ce que tu ne peux pas séparer ton stockage sur 2 systèmes : 1 haute perf et 1 plus moyen pour gagner du budget ? Une solution hybride entre iSCSI et SAS quoi.
J'allais le dire, Une solution additionnelle qu'on fait maintenant par défaut ici (promis, je répondrai au thread présentation un de ces 4) est de séparer les drives des VMs sur différents Tier de stockage. Typiquement (et modestement - notre plus gros site fait 300 VMs - quasi tout du Windows), on va souvent mettre: - les drives système de manière "standard" sur des RAID5 en 10k (300/450/600 avec en tête peu ou prou le même nombre de VM/GB/spindle). Vu que l'approche de nos templates VM (si ces connos de développeurs ne font pas des leurs...) consiste à ne mettre ni swap ni applis sur ce drive, tu peux considérer pouvoir mettre jusqu'à 10-15 disques système (pas plus, en raison des locks VMFS qui font vite grimper la latence, que ce soit en FC, en shared SAS - kikoo les MD3200 dont les contrôleurs passent quand même 14000 IOps, j'ai pas trouvé mieux en rapport perf/prix - ou en iSCSI) sur une LUN. Autre avantage de bien tout séparer, le thin provisioning niveau VMware (si on n'a pas de baie capable d'en faire) est beaucoup plus "safe" sur ce genre de LUN puisque les disques système sont beaucoup moins susceptibles de grimper brusquement en espace disque utilisé si les choses sont faites correctement. Nos templates ont des disques de 20 Go pour du W2003 et 40 Go pour du W2008, en réel on tourne entre 8 et 12 sur les 2003 et 15 à 25 pour les W2008 donc les économies d'échelles sont là: LUN de 220 ou 250 Go réels = ~400 Go provisionnés. - les drives de données des VMs selon leur usage, si c'est pour du vrai near-online (archivage etc.) ça va jusqu'à du RAID5 ou RAID6 sur des Near-Line SAS 2 TB, si c'est pour du transactionnel jusqu'à des RAID10 sur des 136 GB 15k. My 2cts du samedi... Cordialement, -- Marien
Le 30 avril 2011 22:43, "Vincent Duvernet (Nolmë Informatique)" < vincent.duvernet@nolme.com> a écrit :
En terme d'économies, le RAID5/6 est intéressant pour les NAS en datas je le comprend. Par contre, que tu l'indique pour du système me laisse un peu perplexe.
Lorsque nous avons changé notre serveur, je m'étais posé la question d'un SAS RAID5 vs SAS RAID10. Les performances en lecture donnaient réellement raison au RAID10. En écriture c'était plus mitigé. (Je n'ai pas benché moi même par manque de temps).
D'après nos tests sur des raid groups de 8 à 12 disques, seulement quelques % de différence en lecture, en RAID5 les blocs sont stripés pareil qu'en RAID0 à cela près qu'il faut "sauter" les blocs de parité, mais ça reste fondamentalement du stripe. En écriture c'est une autre histoire :o) Cordialement -- Marien
Bonjour Pour ceux que cela intéresse Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration j'ai testé aussi en NFS cela fonctionne aussi j'ai aussi testé http://iscsitarget.sourceforge.net/ c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target ) un petit exemple avec LVM add_iscsi.sh #!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ############################################################################### /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ############################################################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio" echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio"
$IETDCONF
cat /proc/net/iet/volume les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème bye HB Le 29/04/2011 22:10, Sylvain Rutten a écrit :
Bonsoir.
Je suis à la recherche d'un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare.
J'ai une centaine de systèmes virtuels à héberger par DC. J'ai 2 DC donc 200 OS virtuel.
A l'heure actuel j'ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque.
Je viens de prospecter auprès d'Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster.
Du coup je me pose des questions sur les baies EqualLogic mais là j'ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source.
Les avantages que je vois c'est le prix et le cout de maintenance.
Le désagrément c'est que j'ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c'est un faux problème au final.
Je reste convaincu que j'aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu'une solution SAN/NAS ou autre.
J'aimerais avoir des retours d'expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonjour, A titre d'exemple, une baie HP MSA P2000 avec des têtes iSCSI arrive a sortir jusqu'à 90/100 Mo/s, mais peut aussi se retrouver écroulée à 8/10 Mo/s, tout dépend de la taille des blocs écrits... Envoyer 1000 blocs de 4ko ou 1000 blocs de 8Mo ne provoquera pas la même charge réseau, mais pourrais bien mettre à genoux les axes sous-jacents. Pour information, OpenFiler n'est pas supporté par VMware. En cas de problème avec votre plateforme virtualisé, pas d'aide à attendre de la part de VMware. Pour une majorité d'entreprise, ce seul fait est un no-go d'office. Mais sinon, pour des configurations hors production (Lab/Test/Qualif) OpenFiler est un très bon choix... c'est ce que j'utilise très souvent pour mon propre lab. Pour l'isolation des I/O entre les VMs, il existe depuis peu une fonctionnalité appelée SIOC pour Storage IO Control (disponible uniquement dans la version Enterprise Plus, et avec des baies compatibles VAAI) et qui permet de limiter/réguler (QoS) les accès au stockage de façon "globale". Avant, il était possible de définir des priorités d'accès, mais qui ne sont respectés qu'au sein d'un même hôte. Avec SIOC, il deviens possible d'appliquer ces priorités au niveau d'un datastore, et donc de réguler les I/O de manière plus globale. Sylvain. 2011/5/2 hugues Max <huguesmax@gmail.com>:
[...] les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec
mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème
bye HB
Jy ai pensé déjà mais cest trop open pour le coup même si ça fonctionne super bien je te laccorde. En revanche tu peux peut être méclairer sur un autre projet que je suis en train de monter. Je vais recevoir sous 2 jours 2 serveurs M610 avec 2 baies MD3000 et 4 Baies MD1000 avec 90 disques de 1To pour refaire ma solution de backup. Lidée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic cest que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler. Jai pas eu encore le temps de creusé beaucoup plus. Sinon pour ma solution Vmware Dell va me prête une baie Equalogic pour faire des tests. C peut être plus cher que de lopen mais en revanche cest supporter par VmWare. Cela à lair sexy sur le papier, me reste à tester et bench. De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de hugues Max Envoyé : lundi 2 mai 2011 10:40 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare Bonjour Pour ceux que cela intéresse Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration j'ai testé aussi en NFS cela fonctionne aussi j'ai aussi testé http://iscsitarget.sourceforge.net/ c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target ) un petit exemple avec LVM add_iscsi.sh #!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ############################################################################ ### /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ############################################################################ ## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=filei o" echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=filei o" >> $IETDCONF cat /proc/net/iet/volume les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème bye HB Le 29/04/2011 22:10, Sylvain Rutten a écrit : Bonsoir. Je suis à la recherche dun solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. Jai une centaine de systèmes virtuels à héberger par DC. Jai 2 DC donc 200 OS virtuel. A lheure actuel jai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès dIsilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là jai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI. Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois cest le prix et le cout de maintenance. Le désagrément cest que jai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là cest un faux problème au final. Je reste convaincu que jaurais plus de perfs avec des serveurs en NFS et du DAS au cul quune solution SAN/NAS ou autre. Jaimerais avoir des retours dexpérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare. Merci Sylvain. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
'jour. Je mets mon grain de sel.
L’idée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic c’est que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler.
Dans le même genre qu'OpenFiler (avec gestion du "cluster", avec support vmware et support de bandes), il y a Open-E. Et dans le même genre aussi (mais pas Linux inside), il y a NexentaStor. Les deux existent en version gratuite (trop limitée pour Open-E amha) et en version payante (cluster, support, etc). David
Merci je ne connaissais pas Je vais quoi qu'il passer un peu de temps à faire des tests pour valider les différentes options. On a pas tous les jours l'occase de s'amuser avec autant de trucs. Donc je vais prendre mon temps. -----Message d'origine----- De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de David Touitou Envoyé : lundi 2 mai 2011 12:30 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare 'jour. Je mets mon grain de sel.
L’idée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic c’est que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler.
Dans le même genre qu'OpenFiler (avec gestion du "cluster", avec support vmware et support de bandes), il y a Open-E. Et dans le même genre aussi (mais pas Linux inside), il y a NexentaStor. Les deux existent en version gratuite (trop limitée pour Open-E amha) et en version payante (cluster, support, etc). David _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 02/05/2011 12:48, Sylvain Rutten a écrit :
Merci je ne connaissais pas Je vais quoi qu'il passer un peu de temps à faire des tests pour valider les différentes options. On a pas tous les jours l'occase de s'amuser avec autant de trucs. Donc je vais prendre mon temps.
Si tu as du temps j'aimerais bien que tu testes (ou fasse tester) nexentastor :p -- raph
A la place d'openfiler tu devrais essayer nexenta store, c'est pas gratuit dans pour cette volumétrie, mais c'est réelement super efficace... mes 2 cents ----- Mail original ----- De: "Sylvain Rutten" <srutten@gmail.com> À: huguesmax@gmail.com, "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 2 Mai 2011 12:26:27 Objet: Re: [FRsAG] Question sur solution de stockage pour fermes VmWare J’y ai pensé déjà mais c’est trop open pour le coup même si ça fonctionne super bien je te l’accorde. En revanche tu peux peut être m’éclairer sur un autre projet que je suis en train de monter. Je vais recevoir sous 2 jours 2 serveurs M610 avec 2 baies MD3000 et 4 Baies MD1000 avec 90 disques de 1To pour refaire ma solution de backup. L’idée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic c’est que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler. J’ai pas eu encore le temps de creusé beaucoup plus. Sinon pour ma solution Vmware Dell va me prête une baie Equalogic pour faire des tests. C peut être plus cher que de l’open mais en revanche c’est supporter par VmWare. Cela à l’air sexy sur le papier, me reste à tester et bench. De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de hugues Max Envoyé : lundi 2 mai 2011 10:40 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare Bonjour Pour ceux que cela intéresse Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration j'ai testé aussi en NFS cela fonctionne aussi j'ai aussi testé http://iscsitarget.sourceforge.net/ c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target ) un petit exemple avec LVM add_iscsi.sh #!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ############################################################################### /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ############################################################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio" echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio" >> $IETDCONF cat /proc/net/iet/volume les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème bye HB Le 29/04/2011 22:10, Sylvain Rutten a écrit : Bonsoir. Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel. A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI. Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois c’est le prix et le cout de maintenance. Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final. Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre. J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare. Merci Sylvain. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ -- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof
Salut, Le 2 mai 2011 à 13:29, Christophe BAILLON a écrit :
A la place d'openfiler tu devrais essayer nexenta store, c'est pas gratuit dans pour cette volumétrie, mais c'est réelement super efficace...
Pour 12To (out 18? ) de stockage c'est gratis. De plus tu peux faire un stockage hybride, ca dépotte, isilon et netapp sont pas capable de faire plus vite. J'ai de l'expérience la dedans et je suis bientôt dispo (si jamais tu as besoin). Xavier
mes 2 cents
De: "Sylvain Rutten" <srutten@gmail.com> À: huguesmax@gmail.com, "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 2 Mai 2011 12:26:27 Objet: Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
J’y ai pensé déjà mais c’est trop open pour le coup même si ça fonctionne super bien je te l’accorde. En revanche tu peux peut être m’éclairer sur un autre projet que je suis en train de monter. Je vais recevoir sous 2 jours 2 serveurs M610 avec 2 baies MD3000 et 4 Baies MD1000 avec 90 disques de 1To pour refaire ma solution de backup. L’idée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic c’est que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler. J’ai pas eu encore le temps de creusé beaucoup plus. Sinon pour ma solution Vmware Dell va me prête une baie Equalogic pour faire des tests. C peut être plus cher que de l’open mais en revanche c’est supporter par VmWare. Cela à l’air sexy sur le papier, me reste à tester et bench.
De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de hugues Max Envoyé : lundi 2 mai 2011 10:40 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
Bonjour Pour ceux que cela intéresse
Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE
http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration
j'ai testé aussi en NFS cela fonctionne aussi
j'ai aussi testé http://iscsitarget.sourceforge.net/
c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target )
un petit exemple avec LVM
add_iscsi.sh
#!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf
echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ###############################################################################
/usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME
echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ############################################################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME
echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS
echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio"
echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio" >> $IETDCONF
cat /proc/net/iet/volume
les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec
mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème
bye HB
Le 29/04/2011 22:10, Sylvain Rutten a écrit : Bonsoir. Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel.
A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois c’est le prix et le cout de maintenance. Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final. Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre. J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bah j'ai 70 To. Je vais faire des tests avec OpenFiler mon idée de base. J'ai souvenir que ça envoyait grave quand j'avais fait des tests il y a déjà qq années. Sinon pour mes Vmware je vais être plus corporate je pense avec les Equalogic. Enfin je vais faire des tests. -----Message d'origine----- De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de Xavier Beaudouin Envoyé : lundi 2 mai 2011 14:30 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare Salut, Le 2 mai 2011 à 13:29, Christophe BAILLON a écrit :
A la place d'openfiler tu devrais essayer nexenta store, c'est pas gratuit dans pour cette volumétrie, mais c'est réelement super efficace...
Pour 12To (out 18? ) de stockage c'est gratis. De plus tu peux faire un stockage hybride, ca dépotte, isilon et netapp sont pas capable de faire plus vite. J'ai de l'expérience la dedans et je suis bientôt dispo (si jamais tu as besoin). Xavier
mes 2 cents
De: "Sylvain Rutten" <srutten@gmail.com> À: huguesmax@gmail.com, "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 2 Mai 2011 12:26:27 Objet: Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
Jy ai pensé déjà mais cest trop open pour le coup même si ça fonctionne super bien je te laccorde. En revanche tu peux peut être méclairer sur un autre projet que je suis en train de monter. Je vais recevoir sous 2 jours 2 serveurs M610 avec 2 baies MD3000 et 4 Baies MD1000 avec 90 disques de 1To pour refaire ma solution de backup. Lidée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic cest que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler. Jai pas eu encore le temps de creusé beaucoup plus. Sinon pour ma solution Vmware Dell va me prête une baie Equalogic pour faire des tests. C peut être plus cher que de lopen mais en revanche cest supporter par VmWare. Cela à lair sexy sur le papier, me reste à tester et bench.
De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de hugues Max Envoyé : lundi 2 mai 2011 10:40 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
Bonjour Pour ceux que cela intéresse
Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE
http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration
j'ai testé aussi en NFS cela fonctionne aussi
j'ai aussi testé http://iscsitarget.sourceforge.net/
c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target )
un petit exemple avec LVM
add_iscsi.sh
#!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf
echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ###################################################################### #########
/usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME
echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ###################################################################### ######## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME
echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS
echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=filei o"
echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=filei o" >> $IETDCONF
cat /proc/net/iet/volume
les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec
mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème
bye HB
Le 29/04/2011 22:10, Sylvain Rutten a écrit : Bonsoir. Je suis à la recherche dun solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. Jai une centaine de systèmes virtuels à héberger par DC. Jai 2 DC donc 200 OS virtuel.
A lheure actuel jai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès dIsilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là jai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois cest le prix et le cout de maintenance. Le désagrément cest que jai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là cest un faux problème au final. Je reste convaincu que jaurais plus de perfs avec des serveurs en NFS et du DAS au cul quune solution SAN/NAS ou autre. Jaimerais avoir des retours dexpérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
----- Mail original -----
De: "Xavier Beaudouin" <kiwi@oav.net> À: "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 2 Mai 2011 14:30:12 Objet: Re: [FRsAG] Question sur solution de stockage pour fermes VmWare Salut,
Le 2 mai 2011 à 13:29, Christophe BAILLON a écrit :
A la place d'openfiler tu devrais essayer nexenta store, c'est pas gratuit dans pour cette volumétrie, mais c'est réelement super efficace...
Pour 12To (out 18? ) de stockage c'est gratis.
Le monsieur a parlé de 60 To, Nexenta est est gratuit pour moins de 20 To... Et c'est vrai qu'avec 2 ssd ça dépote un max...
De plus tu peux faire un stockage hybride, ca dépotte, isilon et netapp sont pas capable de faire plus vite.
J'ai de l'expérience la dedans et je suis bientôt dispo (si jamais tu as besoin).
Xavier
mes 2 cents
De: "Sylvain Rutten" <srutten@gmail.com> À: huguesmax@gmail.com, "French SysAdmin Group" <frsag@frsag.org> Envoyé: Lundi 2 Mai 2011 12:26:27 Objet: Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
J’y ai pensé déjà mais c’est trop open pour le coup même si ça fonctionne super bien je te l’accorde. En revanche tu peux peut être m’éclairer sur un autre projet que je suis en train de monter. Je vais recevoir sous 2 jours 2 serveurs M610 avec 2 baies MD3000 et 4 Baies MD1000 avec 90 disques de 1To pour refaire ma solution de backup. L’idée était de mettre 2 distrib Open filer en Cluster (mais je ne sais pas si c possible) Déjà testé ou pas de ton coté ? Autre Hic c’est que OpenFiler ne prend pas en charge plus de 60 To ( Est-ce par volume ou par Système). Aussi est-il possible de mettre une librairie de bande au cul de mon Openfiler. J’ai pas eu encore le temps de creusé beaucoup plus. Sinon pour ma solution Vmware Dell va me prête une baie Equalogic pour faire des tests. C peut être plus cher que de l’open mais en revanche c’est supporter par VmWare. Cela à l’air sexy sur le papier, me reste à tester et bench.
De : frsag-bounces@frsag.org [mailto:frsag-bounces@frsag.org] De la part de hugues Max Envoyé : lundi 2 mai 2011 10:40 À : French SysAdmin Group Objet : Re: [FRsAG] Question sur solution de stockage pour fermes VmWare
Bonjour Pour ceux que cela intéresse
Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE
http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi sans aucune configuration
j'ai testé aussi en NFS cela fonctionne aussi
j'ai aussi testé http://iscsitarget.sourceforge.net/
c'est plus compliqué a mettre en place mais on a la main sur tous les paramètres et on peut faire des scripts pour automatiser le clonage et la création des cibles (target )
un petit exemple avec LVM
add_iscsi.sh
#!/bin/bash # Script pour ajouter un volume iscsi dynamiquement sans relancer le daemon # by Hugues from www.dediware.fr # #lvcreate -L 10G -n lv_user002 VolGroup00 LAST_TID=`grep tid: /proc/net/iet/volume | cut -d':' -f2 | awk {' print $1 '} | sort -g | tail -n1` NEW_TID=$(( $LAST_TID + 1 )) LVM_STORAGE_SERVER_VOLUME_GROUP="VolGroup00" LVM_IMAGE_NAME="lv_user001" IMAGE_LUN=1 IMAGE_PASS="mot_de_passe" IETDCONF=/etc/ietd.conf
echo dynamically add new target $LVM_IMAGE_NAME on $LVM_STORAGE_SERVER_VOLUME_GROUP echo /usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME echo "" ###############################################################################
/usr/sbin/ietadm --op new --tid=$NEW_TID --params Name=$LVM_IMAGE_NAME
echo /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME ############################################################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --lun=$IMAGE_LUN --params Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME
echo mettre un login/pwd ISCSI echo Login: $LVM_IMAGE_NAME echo Password: $IMAGE_PASS echo "" ########################################## /usr/sbin/ietadm --op new --tid=$NEW_TID --user --params IncomingUser=$LVM_IMAGE_NAME,Password=$IMAGE_PASS
echo Ajout des infos dans le fichier $IETDCONF ########################################### echo "" echo "Target $LVM_IMAGE_NAME" echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio"
echo "Target $LVM_IMAGE_NAME" >> $IETDCONF echo " IncomingUser $LVM_IMAGE_NAME $IMAGE_PASS" >> $IETDCONF echo " Lun $IMAGE_LUN Path=/dev/mapper/$LVM_STORAGE_SERVER_VOLUME_GROUP-$LVM_IMAGE_NAME,Type=fileio"
$IETDCONF
cat /proc/net/iet/volume
les performances sont assez faibles mais j'ai jamais vu du iscsi fonctionner super rapidement quand une file système fait du 60 à 70Mb/sec, en iscsi je suis a 8 à 10 Mb/sec
mon principale problème est l'isolation des machines en terme d'utilisation des ressources en I/O ( entrée / sortie ) - le problème de la volumétrie étant réglé par lvm pour le moment je n'ai pas de solution simple a ce type de problème
bye HB
Le 29/04/2011 22:10, Sylvain Rutten a écrit : Bonsoir. Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare. J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel.
A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque. Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster. Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source. Les avantages que je vois c’est le prix et le cout de maintenance. Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final. Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre. J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-- Christophe BAILLON Mobile :: +336 16 400 522 Home :: http://20h.com Twitter :: http://twitter.com/ctof
Salut,
Pour 12To (out 18? ) de stockage c'est gratis.
Le monsieur a parlé de 60 To, Nexenta est est gratuit pour moins de 20 To... Et c'est vrai qu'avec 2 ssd ça dépote un max...
Après nexenta ils sont flexible... Par contre ne pas passer par le revendeur a....o qui a pas compris qu'en france on est pas cresus... Xavier
On Mon, 02 May 2011 10:40:09 +0200, hugues Max <huguesmax@gmail.com> wrote:
Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE
http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi
Bonjour, Personnellement, je déconseille pour un usage un temps soit peu sérieux. A moins que depuis la 2.3 ils aient décidé d'utiliser un gestionnaire de paquet qui segfault pas (en laissant le système dans un état incohérent sinon c'est pas drôle) à la première mise à jour... -- Mathieu Goessens IT consultant. gebura@poolp.org + 33 6 07 91 54 87 http://gebura.eu.org
Même expérience ici, pas mal de soucis avec OpenFiler et son système de mise à jours qui laisse le système dans un étant non bootable. Pas sex du tout. -- Adrien Pujol http://www.crashdump.fr adrien.pujol@crashdump.fr On lundi 2 mai 2011 at 16:46, Mathieu Goessens wrote:
On Mon, 02 May 2011 10:40:09 +0200, hugues Max <huguesmax@gmail.com> wrote:
Voila ce que j'ai testé en solution opensource pour faire des cibles ISCSI avec VMWARE
http://www.openfiler.com/ cela fonctionne bien, VMWARE ESXi 4 reconnait bien la cible iscsi
Bonjour,
Personnellement, je déconseille pour un usage un temps soit peu sérieux.
A moins que depuis la 2.3 ils aient décidé d'utiliser un gestionnaire de paquet qui segfault pas (en laissant le système dans un état incohérent sinon c'est pas drôle) à la première mise à jour...
-- Mathieu Goessens IT consultant.
gebura@poolp.org + 33 6 07 91 54 87 http://gebura.eu.org _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Bonsoir, Juste un petit coup d'oeil sur les solutions de Datacore ne feront pas de mal ;) Pléthore de fonctionnalités (HA, vrai cluster actif / actif, thin provisionning, tierization automatique (ssd, sas, sata sur une même lun), snapshot intégré aux API de vmware, storage reclamation.... etc...) Ils sont partenaires VMware et spécialiste sur le stockage "logiciel" depuis des années :) Nexentastore était une option intéressante avant le rachat de Sun par Oracle vu que la solution tirait partie de ZFS, mais maintenant vu l'état du dev et l'attitude d'Oracle, je ne sais pas s'il s'agirait d'un choix pertinent. Faut cependant faire très attention à tes serveurs de stockage quand tu commences à faire du DAS sur l'aspect performance, surtout quand tu commences à chainer pas mal de baies. @+ Le 29 avril 2011 22:10, Sylvain Rutten <srutten@gmail.com> a écrit :
Bonsoir.
Je suis à la recherche d’un solution de stockage simple et si possible évolutive pour héberger mes fermes de serveurs VmWare.
J’ai une centaine de systèmes virtuels à héberger par DC. J’ai 2 DC donc 200 OS virtuel.
A l’heure actuel j’ai 2 Netapp 2050 de 15 To avec des disques 450 en 15 K. Mais les perfs ne me conviennent pas que ce soit du FC, ISCSI ou du NFS, donc ils ne me servent à rien ou presque.
Je viens de prospecter auprès d’Isilon mais les négociations sont compliqués, les tarifs et les taux de remises pas très clair. Je suis parti sur une config du genre 2 x 4 IQ5400S avec des axes de 15k pour une volumétrie de 14 To util par cluster.
Du coup je me pose des questions sur les baies EqualLogic mais là j’ai encore un peu peur du prix, acquisition des licences, maintenance et en plus je ne suis pas fan du ISCSI.
Du coup je partirais bien sûr du serveur standard genre dell R610 avec contrôleur H800 / PowerVault MD1200 / HD en 15k / 8 x Gb intel en Lacp et une distrib open source.
Les avantages que je vois c’est le prix et le cout de maintenance.
Le désagrément c’est que j’ai plusieurs DataStore. 1 par target NFS dans mon cas avec des volumes de 5 To. Mais là c’est un faux problème au final.
Je reste convaincu que j’aurais plus de perfs avec des serveurs en NFS et du DAS au cul qu’une solution SAN/NAS ou autre.
J’aimerais avoir des retours d’expérience, des avis et vos sentiments sur Blackbox versus OpenSource pour mes Datastore VmWare.
Merci
Sylvain.
_______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Nexentastore était une option intéressante avant le rachat de Sun par Oracle vu que la solution tirait partie de ZFS, mais maintenant vu l'état du dev et l'attitude d'Oracle, je ne sais pas s'il s'agirait d'un choix pertinent. Il y a un fork en cours d'open solaris soutenu entre autre par les gens de nexenta voir ici https://www.illumos.org/ Tof
participants (13)
-
"Vincent Duvernet (Nolmë Informatique) " -
Adrien Pujol -
Christophe BAILLON -
David Touitou -
Hugues Brunel -
hugues Max -
Marien LEBRETON -
Mathieu Goessens -
Raphael Mazelier -
Sylvain Huguet -
Sylvain Rutten -
webmaster -
Xavier Beaudouin