Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de : - deux lames dell m610 sous debian 8 / proxmox 4 - un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi - un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS). [ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ] Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps.
j'ai donc cherché des solutions alternatives à ocfs2 : - exit NFS, mon SAN ne le supporte pas - exit ceph, pas assez de disque sur les lames - exit LVM, je veux pouvoir faire des snapshots
Je suis en train de me résigner à revenir sur debian8 / ocfs2 1.6, sur lequel je n'ai jamais eu aucun problème.
J'ai du mal à croire qu'il n'y ait pas d'autre FS qui permette de faire la même chose qu'OCFS2. Si je ne me trompe pas, GlusterFS pourrait faire l'affaire, mais je n'ai pas possibilité d'avoir 3 nodes au départ (je suis obligé de conserver au moins une node sur mon ancien cluster le temps de la migration).
SI quelqu'un a des idées / retours d'expérience sur un infra de ce genre, je suis preneur ! Merci Cédric
11 janvier 2018 08:40 "BASSAGET Cédric" cedric.bassaget.ml@gmail.com a écrit:
Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de :
deux lames dell m610 sous debian 8 / proxmox 4
un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi
un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS).
[ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ]
Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps. j'ai donc cherché des solutions alternatives à ocfs2 :
- exit NFS, mon SAN ne le supporte pas
- exit ceph, pas assez de disque sur les lames
- exit LVM, je veux pouvoir faire des snapshots
Pour LVM : lvcreate -s permet de créer des snapshots de LV, comprends pas ta réaction... Après je n'ai jamais utilisé dans ton cadre d'utilisation
Pour moi, OCFS2 ---> uniquement Oracle derrière...se méfier initialement prévu pour du cluster RAC... Mais maintenant quand tu fais du Oracle RAC, tu utilises asm. J'arrêterais d'investir sur ce genre d'archi
Dans ta liste il manque GFS2, qui est une autre solution que GlusterFS
Mais il semble que le futur s'oriente plus vers Ceph... mais de là à dire que c'est prod ready je ne sais pas dire
Cdlt,
JYL
Dans le GUI de Proxmox 4, les snapshot ne sont pas possibles sur du LVM. Je crois me souvenir que c'est à cause des perfs qui sont mauvaises. Le seul endroit où on peut faire un snapshot, c'est quand on fait un backup (parce que c'est à priori 1 fois par jour, pas toutes les heures).
D'après ce que j'ai lu, LVM-Thin règle le problème mais n'est pas possible sur du shared-storage (iSCSI donc).
Le 11 janv. 2018 à 10:32, jean-yves@lenhof.eu.org a écrit :
11 janvier 2018 08:40 "BASSAGET Cédric" cedric.bassaget.ml@gmail.com a écrit:
Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de :
deux lames dell m610 sous debian 8 / proxmox 4
un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi
un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS).
[ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ]
Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps. j'ai donc cherché des solutions alternatives à ocfs2 :
- exit NFS, mon SAN ne le supporte pas
- exit ceph, pas assez de disque sur les lames
- exit LVM, je veux pouvoir faire des snapshots
Pour LVM : lvcreate -s permet de créer des snapshots de LV, comprends pas ta réaction... Après je n'ai jamais utilisé dans ton cadre d'utilisation
Pour moi, OCFS2 ---> uniquement Oracle derrière...se méfier initialement prévu pour du cluster RAC... Mais maintenant quand tu fais du Oracle RAC, tu utilises asm. J'arrêterais d'investir sur ce genre d'archi
Dans ta liste il manque GFS2, qui est une autre solution que GlusterFS
Mais il semble que le futur s'oriente plus vers Ceph... mais de là à dire que c'est prod ready je ne sais pas dire
Cdlt,
JYL _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Le 11/01/2018 à 11:12, David Ponzone a écrit :
Dans le GUI de Proxmox 4, les snapshot ne sont pas possibles sur du LVM. Je crois me souvenir que c'est à cause des perfs qui sont mauvaises. Le seul endroit où on peut faire un snapshot, c'est quand on fait un backup (parce que c'est à priori 1 fois par jour, pas toutes les heures).
Non, c'est parce que les snapshots ne vont pas bien avec ce que demande proxmox (en fait qemu), par contre ça marche très bien sur du LVM thin !!
@+ Gilou
D'après ce que j'ai lu, LVM-Thin règle le problème mais n'est pas possible sur du shared-storage (iSCSI donc).
Le 11 janv. 2018 à 10:32, jean-yves@lenhof.eu.org a écrit :
11 janvier 2018 08:40 "BASSAGET Cédric" cedric.bassaget.ml@gmail.com a écrit:
Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de :
deux lames dell m610 sous debian 8 / proxmox 4
un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi
un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS).
[ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ]
Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps. j'ai donc cherché des solutions alternatives à ocfs2 :
- exit NFS, mon SAN ne le supporte pas
- exit ceph, pas assez de disque sur les lames
- exit LVM, je veux pouvoir faire des snapshots
Pour LVM : lvcreate -s permet de créer des snapshots de LV, comprends pas ta réaction... Après je n'ai jamais utilisé dans ton cadre d'utilisation
Pour moi, OCFS2 ---> uniquement Oracle derrière...se méfier initialement prévu pour du cluster RAC... Mais maintenant quand tu fais du Oracle RAC, tu utilises asm. J'arrêterais d'investir sur ce genre d'archi
Dans ta liste il manque GFS2, qui est une autre solution que GlusterFS
Mais il semble que le futur s'oriente plus vers Ceph... mais de là à dire que c'est prod ready je ne sais pas dire
Cdlt,
JYL _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
Liste de diffusion du FRsAG http://www.frsag.org/
11 janvier 2018 08:40 "BASSAGET Cédric" cedric.bassaget.ml@gmail.com a écrit:
Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de :
deux lames dell m610 sous debian 8 / proxmox 4
un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi
un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS).
[ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ]
Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps. j'ai donc cherché des solutions alternatives à ocfs2 :
- exit NFS, mon SAN ne le supporte pas
- exit ceph, pas assez de disque sur les lames
- exit LVM, je veux pouvoir faire des snapshots
Je suis en train de me résigner à revenir sur debian8 / ocfs2 1.6, sur lequel je n'ai jamais eu aucun problème.
J'ai du mal à croire qu'il n'y ait pas d'autre FS qui permette de faire la même chose qu'OCFS2. Si je ne me trompe pas, GlusterFS pourrait faire l'affaire, mais je n'ai pas possibilité d'avoir 3 nodes au départ (je suis obligé de conserver au moins une node sur mon ancien cluster le temps de la migration).
SI quelqu'un a des idées / retours d'expérience sur un infra de ce genre, je suis preneur ! Merci Cédric
Tu as parcouru la page suivante je suppose ? En tout cas ocfs2 n'est pas dedans... du coup je passerais à autre chose https://pve.proxmox.com/wiki/Storage
Tu n'as pas indiqué si tu voulais ou non du "shared storage"... fonctionnalité requise si tu veux faire du live migration
Cdlt,
JYL
Le Thu, Jan 11, 2018 at 09:51:57AM +0000, jean-yves@lenhof.eu.org [jean-yves@lenhof.eu.org] a écrit: [...]
Tu n'as pas indiqué si tu voulais ou non du "shared storage"... fonctionnalité requise si tu veux faire du live migration
Il s'emme*rait pas avec OCFS2, si c'etait pas pour avoir du share-storage, je pense :)
ma réponse sur laquelle j'ai oublié de mettre la liste en copie :
Bonjour, j'ai besoin de faire du shared storage :
- un shared storage basé sur ocfs2 version 1.6
Concernant les snapshot, je ne veux pas faire de snapshot de LV, mais de snapshots de machines virtuelles proxmox Comme indiqué sur https://pve.proxmox.com/wiki/Storage , ce n'est pas possible avec LVM.
En gros les deux seuls qui valident toutes les cases (stable / shared storage / snapshot) sont ceph et ZFS over iSCSI. Ocfs2 n'est effectivement pas dans la liste. GFS2 non plus.
Le 11 janvier 2018 à 11:13, Dominique Rousseau d.rousseau@nnx.com a écrit :
Le Thu, Jan 11, 2018 at 09:51:57AM +0000, jean-yves@lenhof.eu.org [ jean-yves@lenhof.eu.org] a écrit: [...]
Tu n'as pas indiqué si tu voulais ou non du "shared storage"... fonctionnalité requise si tu veux faire du live migration
Il s'emme*rait pas avec OCFS2, si c'etait pas pour avoir du share-storage, je pense :)
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 21 rue Frédéric Petit - 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
ZFS over iscsi est un shared storage au niveau des clients, mais pas (simplement) au niveau du stockage, non ?
On 01/11/2018 11:20 AM, BASSAGET Cédric wrote:
En gros les deux seuls qui valident toutes les cases (stable / shared storage / snapshot) sont ceph et ZFS over iSCSI. Ocfs2 n'est effectivement pas dans la liste. GFS2 non plus.
Le 11/01/2018 à 11:20, BASSAGET Cédric a écrit :
ma réponse sur laquelle j'ai oublié de mettre la liste en copie :
Bonjour, j'ai besoin de faire du shared storage :
- un shared storage basé sur ocfs2 version 1.6
Concernant les snapshot, je ne veux pas faire de snapshot de LV, mais de snapshots de machines virtuelles proxmox Comme indiqué sur https://pve.proxmox.com/wiki/Storage https://pve.proxmox.com/wiki/Storage , ce n'est pas possible avec LVM.
En gros les deux seuls qui valident toutes les cases (stable / shared storage / snapshot) sont ceph et ZFS over iSCSI. Ocfs2 n'est effectivement pas dans la liste. GFS2 non plus.
Marrant, DRBD n'est pas dans la liste non plus (n'est plus pour être précis).
On est en train de remonter un cluster Proxmox/DRBD9 donc je n'ai pas encore de retour mais en Proxmox 4/DRBD9, on avait tout ça et une stabilité 'correcte' (aka ça demande de la surveillance).
On avait utilisé LVM-thin comme backend DRBD et là, on va retenter avec du ZFS.
Julien
Bonjour tout le monde,
Et OpenIo http://www.openio.io ? Je ne l'utilise pas, mais j'ai l'impression qui pourrait servir comme stockage de machine virtuelle. La boite est française.
-- Jean-Louis Touraine
Le 11/01/2018 à 10:51, jean-yves@lenhof.eu.org a écrit :
11 janvier 2018 08:40 "BASSAGET Cédric" cedric.bassaget.ml@gmail.com a écrit:
Bonjour la liste.
Je suis actuellement en tain de migrer un petit cluster proxmox constitué de :
deux lames dell m610 sous debian 8 / proxmox 4
un san equallogic ps4100 + ce qui va bien pour faire du multipath iscsi
un shared storage basé sur ocfs2 version 1.6
le but étant de rajouter une troisième machine au cluster.
Mon ancien cluster ocfs2 étant limité à deux nodes, et n'ayant pas possibilité de modifier cette valeur à chaud, j'ai décidé d'installer un proxmox tout beau tout neuf sur la nouvelle machine (proxmox5, debian 9, ocfs2 1.8), puis de migrer les VMs sur la nouvelle infra.
Et là, c'est le drame. Gros problèmes de stabilité de ocfs2 1.8 (confirmé par les devs de OCFS).
[ source : https://oss.oracle.com/pipermail/ocfs2-devel/2018-January/013254.html ]
Patch en cours, mais d'ici à ce que le correctif soit intégré aux dépôts debian..... y'a le temps. j'ai donc cherché des solutions alternatives à ocfs2 :
- exit NFS, mon SAN ne le supporte pas
- exit ceph, pas assez de disque sur les lames
- exit LVM, je veux pouvoir faire des snapshots
Je suis en train de me résigner à revenir sur debian8 / ocfs2 1.6, sur lequel je n'ai jamais eu aucun problème.
J'ai du mal à croire qu'il n'y ait pas d'autre FS qui permette de faire la même chose qu'OCFS2. Si je ne me trompe pas, GlusterFS pourrait faire l'affaire, mais je n'ai pas possibilité d'avoir 3 nodes au départ (je suis obligé de conserver au moins une node sur mon ancien cluster le temps de la migration).
SI quelqu'un a des idées / retours d'expérience sur un infra de ce genre, je suis preneur ! Merci Cédric
Tu as parcouru la page suivante je suppose ? En tout cas ocfs2 n'est pas dedans... du coup je passerais à autre chose https://pve.proxmox.com/wiki/Storage
Tu n'as pas indiqué si tu voulais ou non du "shared storage"... fonctionnalité requise si tu veux faire du live migration
Cdlt,
JYL _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
-
BASSAGET Cédric -
David Ponzone -
Dominique Rousseau -
frsag＠jack.fr.eu.org -
Gilou -
Jean-Louis Touraine -
jean-yves＠lenhof.eu.org -
Julien Escario -
raph＠futomaki.net