Salut,
Chez nous on a une petite infra de dev sous proxmox avec deux hyperviseurs sur lesquels on a (de souvenir) :
* configuré multipath, * présenté un Virtual Volume a chaque HV proxmox (chez nous via une baie HPE 3PAR qui exporte un volume via un réseau SAN FC) * utiliser LVM ( [ https://pve.proxmox.com/wiki/Storage | https://pve.proxmox.com/wiki/Storage ] - le ² dans la colonne LVM : It is possible to use LVM on top of an iSCSI or FC-based storage. That way you get a shared LVM storage. ) * créer un PV et un Volume Group * chaque disque utilisé par une VM sera un LV dans le VG,
On a un peu plus de 60 VM qui tournent et 60 de plus en état arrêté actuellement.
Exemple de ce que ca donne en console :
root@c:~# multipath -ll mpatha (360002ac00000000000000***********) dm-5 3PARdata,VV size=4.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw `-+- policy='round-robin 0' prio=50 status=active |- 1:0:0:1 sdb 8:16 active ready running |- 2:0:0:1 sdd 8:48 active ready running |- 1:0:1:1 sdc 8:32 active ready running `- 2:0:2:1 sde 8:64 active ready running
root@c:~# ls -alh /dev/mapper/mpatha lrwxrwxrwx 1 root root 7 Jan 4 14:18 /dev/mapper/mpatha -> ../dm-5
root@c:~# ls -alh /dev/mapper/mpatha-part1 lrwxrwxrwx 1 root root 7 Feb 24 11:39 /dev/mapper/mpatha-part1 -> ../dm-6
root@c:~# pvdisplay --- Physical volume --- PV Name /dev/mapper/mpatha-part1 VG Name pve-datastore PV Size <4.00 TiB / not usable <12.02 MiB Allocatable yes PE Size 4.00 MiB Total PE 1048567 Free PE 389760 Allocated PE 658807
root@c:~# pvs PV VG Fmt Attr PSize PFree /dev/mapper/mpatha-part1 pve-datastore lvm2 a-- <4.00t <1.49t
root@c:~# vgs VG #PV #LV #SN Attr VSize VFree pve-datastore 1 343 0 wz--n- <4.00t <1.49t
root@c:~# lvs LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert vm-100-cloudinit pve-datastore -wi-a----- 4.00m vm-100-disk-0 pve-datastore -wi-a----- 10.00g vm-101-disk-0 pve-datastore -wi-ao---- 10.00g vm-102-cloudinit pve-datastore -wi------- 4.00m vm-102-disk-0 pve-datastore -wi------- 2.00g vm-102-disk-1 pve-datastore -wi------- 50.00g vm-103-cloudinit pve-datastore -wi------- 4.00m vm-103-disk-0 pve-datastore -wi------- 10.00g vm-103-disk-1 pve-datastore -wi------- 2.00g vm-104-disk-0 pve-datastore -wi------- 10.00g vm-105-cloudinit pve-datastore -wi------- 4.00m vm-105-disk-0 pve-datastore -wi------- 30.00g [...]
et on voit exactement la même chose sur le second hyperviseur. Dans proxmox pour chaque hyperviseur on peux voir dans Disk > LVM :
++
De: "Ludovic Scotti" tontonlud@gmail.com À: mysolo@cynetek.com Cc: "French SysAdmin Group" frsag@frsag.org Envoyé: Vendredi 24 Février 2023 13:59:53 Objet: [FRsAG] Re: Promox - stockage partagé
BQ_BEGIN
Bonjour,
Une baie MSA qu'elle soit Fiber Channel, iSCSI, ou SAS se comporte de la même manière, elle présente une LUN à un host.
Donc en présentant une même LUN à 2, 3, 4 hosts avec un système de fichier partagé qu'il soit NFS, VMFS, NTFS/ReFS, QueSais-jeFS, on peut faire des opérations de Live Migration, Storage vMotion, etc.
@job-1/-3 j'en ai installé/utlisé avec de l'Hyper-V Failover Cluster, du cluster vSphere HA. Jamais testé avec Proxmox mais j'imagine que ca doit fonctionner pareil.
En fouillant un peu sur le net j'ai trouvé cet article : [ https://forum.proxmox.com/threads/proxmox-with-hp-msa-2040-storage.38955/ | https://forum.proxmox.com/threads/proxmox-with-hp-msa-2040-storage.38955/ ]
Bonne fin de semaine à tous. Ludovic
Le ven. 24 févr. 2023, 00:57, [ mailto:mysolo@cynetek.com | mysolo@cynetek.com ] < [ mailto:mysolo@cynetek.com | mysolo@cynetek.com ] > a écrit :
BQ_BEGIN
Je rejoins David,
Il aurait mieux fallut 2 serveurs relié chacun a 2 baies. Tu as toujours une redondance si un équipement a des problèmes.
Le 23/02/2023 à 13:35, HYVERNAT Philippe Responsable Informatique CHAVS a écrit :
BQ_BEGIN
oui je comprends.
c'est pas full redondé mais c'est une bonne entrée en matière et limite un peu les coûts.
est ce que quelqu'un l'a déjà essayé ? C'est la question initiale ;)
Le 23/02/2023 à 13:18, David Ponzone a écrit :
BQ_BEGIN Pas de réseau mais t’as quand même un seul chassis MSA. Je sais que c’est très solide, mais quand on me parle de HA et que je vois un SPOF, euh, comment dire….
BQ_BEGIN
Le 23 févr. 2023 à 13:04, HYVERNAT Philippe Responsable Informatique CHAVS < [ mailto:phhyvernat@ch-avs.fr | phhyvernat@ch-avs.fr ] > a écrit :
Une baie MSA 2050 avec port SAS pour connecter les 3 serveurs DL donc pas de réseau entre les hôtes et le stockage
sous vmware on voit le stockage comme du stockage interne mais je voulais m'assurer que sur Proxmox on est la même réaction.
BQ_END
BQ_END
_______________________________________________ Liste de diffusion du %(real_name)s [ http://www.frsag.org/ | http://www.frsag.org/ ]
BQ_END
_______________________________________________ Liste de diffusion du %(real_name)s [ http://www.frsag.org/ | http://www.frsag.org/ ]
BQ_END
_______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ BQ_END
Salut,
Merci pour ce précis retour.
Plus qu'a passer la seconde maintenant et commander le matos.
Merci à tous pour vos réponses
**
Le 24/02/2023 à 16:08, Yann Richard a écrit :
Salut,
Chez nous on a une petite infra de dev sous proxmox avec deux hyperviseurs sur lesquels on a (de souvenir) :
- configuré multipath,
- présenté un Virtual Volume a chaque HV proxmox (chez nous via une baie HPE 3PAR qui exporte un volume via un réseau SAN FC)
- utiliser LVM ( https://pve.proxmox.com/wiki/Storage https://antiphishing.vadesecure.com/v4?f=Q3ZQNmU2SnpsRFlRbUF3dn74UHaOJxuoBVu42ymMEhlE-lmdIyDHiKsmkpuTv227&i=SXVFem5DOGVpUU1rNjdmQs96J8_ee3pOyehJVucRT2c&k=syJL&r=bWt1djZ5QzcyUms5R1Nzas0TwoF52TN0f15QStDWbiK7FghhpDFRSodZ0P4OiGD_&s=57489ea1c410a0e30bc4965930f3a012da9f0ce2e4dea9ae876152e1083a9f4e&u=https%3A%2F%2Fpve.proxmox.com%2Fwiki%2FStorage
an iSCSI or FC-based storage. That way you get a shared LVM storage.*) o créer un PV et un Volume Group o chaque disque utilisé par une VM sera un LV dans le VG,
- le ² dans la colonne LVM : *It is possible to use LVM on top of
On a un peu plus de 60 VM qui tournent et 60 de plus en état arrêté actuellement.
Exemple de ce que ca donne en console :
root@c:~# multipath -ll mpatha (360002ac00000000000000***********) dm-5 3PARdata,VV size=4.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw `-+- policy='round-robin 0' prio=50 status=active |- 1:0:0:1 sdb 8:16 active ready running |- 2:0:0:1 sdd 8:48 active ready running |- 1:0:1:1 sdc 8:32 active ready running `- 2:0:2:1 sde 8:64 active ready running
root@c:~# ls -alh /dev/mapper/mpatha lrwxrwxrwx 1 root root 7 Jan 4 14:18 /dev/mapper/mpatha -> ../dm-5
root@c:~# ls -alh /dev/mapper/mpatha-part1 lrwxrwxrwx 1 root root 7 Feb 24 11:39 /dev/mapper/mpatha-part1 -> ../dm-6
root@c:~# pvdisplay --- Physical volume --- PV Name /dev/mapper/mpatha-part1 VG Name pve-datastore PV Size <4.00 TiB / not usable <12.02 MiB Allocatable yes PE Size 4.00 MiB Total PE 1048567 Free PE 389760 Allocated PE 658807
root@c:~# pvs PV VG Fmt Attr PSize PFree /dev/mapper/mpatha-part1 pve-datastore lvm2 a-- <4.00t <1.49t
root@c:~# vgs VG #PV #LV #SN Attr VSize VFree pve-datastore 1 343 0 wz--n- <4.00t <1.49t
root@c:~# lvs LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert vm-100-cloudinit pve-datastore -wi-a----- 4.00m vm-100-disk-0 pve-datastore -wi-a----- 10.00g vm-101-disk-0 pve-datastore -wi-ao---- 10.00g vm-102-cloudinit pve-datastore -wi------- 4.00m vm-102-disk-0 pve-datastore -wi------- 2.00g vm-102-disk-1 pve-datastore -wi------- 50.00g vm-103-cloudinit pve-datastore -wi------- 4.00m vm-103-disk-0 pve-datastore -wi------- 10.00g vm-103-disk-1 pve-datastore -wi------- 2.00g vm-104-disk-0 pve-datastore -wi------- 10.00g vm-105-cloudinit pve-datastore -wi------- 4.00m vm-105-disk-0 pve-datastore -wi------- 30.00g [...]
et on voit exactement la même chose sur le second hyperviseur. Dans proxmox pour chaque hyperviseur on peux voir dans Disk > LVM :
++
*De: *"Ludovic Scotti" <tontonlud@gmail.com> *À: *mysolo@cynetek.com *Cc: *"French SysAdmin Group" <frsag@frsag.org> *Envoyé: *Vendredi 24 Février 2023 13:59:53 *Objet: *[FRsAG] Re: Promox - stockage partagé Bonjour, Une baie MSA qu'elle soit Fiber Channel, iSCSI, ou SAS se comporte de la même manière, elle présente une LUN à un host. Donc en présentant une même LUN à 2, 3, 4 hosts avec un système de fichier partagé qu'il soit NFS, VMFS, NTFS/ReFS, QueSais-jeFS, on peut faire des opérations de Live Migration, Storage vMotion, etc. @job-1/-3 j'en ai installé/utlisé avec de l'Hyper-V Failover Cluster, du cluster vSphere HA. Jamais testé avec Proxmox mais j'imagine que ca doit fonctionner pareil. En fouillant un peu sur le net j'ai trouvé cet article : https://forum.proxmox.com/threads/proxmox-with-hp-msa-2040-storage.38955/ <https://antiphishing.vadesecure.com/v4?f=Q3ZQNmU2SnpsRFlRbUF3dn74UHaOJxuoBVu42ymMEhlE-lmdIyDHiKsmkpuTv227&i=SXVFem5DOGVpUU1rNjdmQs96J8_ee3pOyehJVucRT2c&k=syJL&r=bWt1djZ5QzcyUms5R1Nzas0TwoF52TN0f15QStDWbiK7FghhpDFRSodZ0P4OiGD_&s=1f4cfddaa91f1e6ee1dec7fdd734e026ae92d31dacd6ebdafa386198dc560864&u=https%3A%2F%2Fforum.proxmox.com%2Fthreads%2Fproxmox-with-hp-msa-2040-storage.38955%2F> Bonne fin de semaine à tous. Ludovic Le ven. 24 févr. 2023, 00:57, mysolo@cynetek.com <mysolo@cynetek.com> a écrit : Je rejoins David, Il aurait mieux fallut 2 serveurs relié chacun a 2 baies. Tu as toujours une redondance si un équipement a des problèmes. Le 23/02/2023 à 13:35, HYVERNAT Philippe Responsable Informatique CHAVS a écrit : oui je comprends. c'est pas full redondé mais c'est une bonne entrée en matière et limite un peu les coûts. ** *est ce que quelqu'un l'a déjà essayé ? * ** *C'est la question initiale ;) * Le 23/02/2023 à 13:18, David Ponzone a écrit : Pas de réseau mais t’as quand même un seul chassis MSA. Je sais que c’est très solide, mais quand on me parle de HA et que je vois un SPOF, euh, comment dire…. Le 23 févr. 2023 à 13:04, HYVERNAT Philippe Responsable Informatique CHAVS <phhyvernat@ch-avs.fr> a écrit : Une baie MSA 2050 avec port SAS pour connecter les 3 serveurs DL donc pas de réseau entre les hôtes et le stockage sous vmware on voit le stockage comme du stockage interne mais je voulais m'assurer que sur Proxmox on est la même réaction. _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ <https://antiphishing.vadesecure.com/v4?f=Q3ZQNmU2SnpsRFlRbUF3dn74UHaOJxuoBVu42ymMEhlE-lmdIyDHiKsmkpuTv227&i=SXVFem5DOGVpUU1rNjdmQs96J8_ee3pOyehJVucRT2c&k=syJL&r=bWt1djZ5QzcyUms5R1Nzas0TwoF52TN0f15QStDWbiK7FghhpDFRSodZ0P4OiGD_&s=2be3b7254dc52bfc6e86462f043521ded01ccbdb845dbcb43173b933898c88e6&u=http%3A%2F%2Fwww.frsag.org%2F> _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ <https://antiphishing.vadesecure.com/v4?f=Q3ZQNmU2SnpsRFlRbUF3dn74UHaOJxuoBVu42ymMEhlE-lmdIyDHiKsmkpuTv227&i=SXVFem5DOGVpUU1rNjdmQs96J8_ee3pOyehJVucRT2c&k=syJL&r=bWt1djZ5QzcyUms5R1Nzas0TwoF52TN0f15QStDWbiK7FghhpDFRSodZ0P4OiGD_&s=2be3b7254dc52bfc6e86462f043521ded01ccbdb845dbcb43173b933898c88e6&u=http%3A%2F%2Fwww.frsag.org%2F> _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
Liste de diffusion du %(real_name)s https://antiphishing.vadesecure.com/v4?f=Q3ZQNmU2SnpsRFlRbUF3dn74UHaOJxuoBVu...
Bonsoir,
intéressant, est ce que les SNAPSHOT fonctionnent dans cette configuration LVM+ISCSI ?
merci
AB
On 24/02/2023 16:08, Yann Richard wrote:
Salut,
Chez nous on a une petite infra de dev sous proxmox avec deux hyperviseurs sur lesquels on a (de souvenir) :
- configuré multipath,
- présenté un Virtual Volume a chaque HV proxmox (chez nous via une baie HPE 3PAR qui exporte un volume via un réseau SAN FC)
- utiliser LVM ( https://pve.proxmox.com/wiki/Storage - le ² dans la colonne LVM : *It is possible to use LVM on top of an iSCSI or FC-based storage. That way you get a shared LVM storage.*) o créer un PV et un Volume Group o chaque disque utilisé par une VM sera un LV dans le VG,
On a un peu plus de 60 VM qui tournent et 60 de plus en état arrêté actuellement.
Exemple de ce que ca donne en console :
root@c:~# multipath -ll mpatha (360002ac00000000000000***********) dm-5 3PARdata,VV size=4.0T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw `-+- policy='round-robin 0' prio=50 status=active |- 1:0:0:1 sdb 8:16 active ready running |- 2:0:0:1 sdd 8:48 active ready running |- 1:0:1:1 sdc 8:32 active ready running `- 2:0:2:1 sde 8:64 active ready running
root@c:~# ls -alh /dev/mapper/mpatha lrwxrwxrwx 1 root root 7 Jan 4 14:18 /dev/mapper/mpatha -> ../dm-5
root@c:~# ls -alh /dev/mapper/mpatha-part1 lrwxrwxrwx 1 root root 7 Feb 24 11:39 /dev/mapper/mpatha-part1 -> ../dm-6
root@c:~# pvdisplay --- Physical volume --- PV Name /dev/mapper/mpatha-part1 VG Name pve-datastore PV Size <4.00 TiB / not usable <12.02 MiB Allocatable yes PE Size 4.00 MiB Total PE 1048567 Free PE 389760 Allocated PE 658807
root@c:~# pvs PV VG Fmt Attr PSize PFree /dev/mapper/mpatha-part1 pve-datastore lvm2 a-- <4.00t <1.49t
root@c:~# vgs VG #PV #LV #SN Attr VSize VFree pve-datastore 1 343 0 wz--n- <4.00t <1.49t
root@c:~# lvs LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert vm-100-cloudinit pve-datastore -wi-a----- 4.00m vm-100-disk-0 pve-datastore -wi-a----- 10.00g vm-101-disk-0 pve-datastore -wi-ao---- 10.00g vm-102-cloudinit pve-datastore -wi------- 4.00m vm-102-disk-0 pve-datastore -wi------- 2.00g vm-102-disk-1 pve-datastore -wi------- 50.00g vm-103-cloudinit pve-datastore -wi------- 4.00m vm-103-disk-0 pve-datastore -wi------- 10.00g vm-103-disk-1 pve-datastore -wi------- 2.00g vm-104-disk-0 pve-datastore -wi------- 10.00g vm-105-cloudinit pve-datastore -wi------- 4.00m vm-105-disk-0 pve-datastore -wi------- 30.00g [...]
et on voit exactement la même chose sur le second hyperviseur. Dans proxmox pour chaque hyperviseur on peux voir dans Disk > LVM :
++
*De: *"Ludovic Scotti" <tontonlud@gmail.com> *À: *mysolo@cynetek.com *Cc: *"French SysAdmin Group" <frsag@frsag.org> *Envoyé: *Vendredi 24 Février 2023 13:59:53 *Objet: *[FRsAG] Re: Promox - stockage partagé Bonjour, Une baie MSA qu'elle soit Fiber Channel, iSCSI, ou SAS se comporte de la même manière, elle présente une LUN à un host. Donc en présentant une même LUN à 2, 3, 4 hosts avec un système de fichier partagé qu'il soit NFS, VMFS, NTFS/ReFS, QueSais-jeFS, on peut faire des opérations de Live Migration, Storage vMotion, etc. @job-1/-3 j'en ai installé/utlisé avec de l'Hyper-V Failover Cluster, du cluster vSphere HA. Jamais testé avec Proxmox mais j'imagine que ca doit fonctionner pareil. En fouillant un peu sur le net j'ai trouvé cet article : https://forum.proxmox.com/threads/proxmox-with-hp-msa-2040-storage.38955/ Bonne fin de semaine à tous. Ludovic Le ven. 24 févr. 2023, 00:57, mysolo@cynetek.com <mysolo@cynetek.com> a écrit : Je rejoins David, Il aurait mieux fallut 2 serveurs relié chacun a 2 baies. Tu as toujours une redondance si un équipement a des problèmes. Le 23/02/2023 à 13:35, HYVERNAT Philippe Responsable Informatique CHAVS a écrit : oui je comprends. c'est pas full redondé mais c'est une bonne entrée en matière et limite un peu les coûts. ** *est ce que quelqu'un l'a déjà essayé ? * ** *C'est la question initiale ;) * Le 23/02/2023 à 13:18, David Ponzone a écrit : Pas de réseau mais t’as quand même un seul chassis MSA. Je sais que c’est très solide, mais quand on me parle de HA et que je vois un SPOF, euh, comment dire…. Le 23 févr. 2023 à 13:04, HYVERNAT Philippe Responsable Informatique CHAVS <phhyvernat@ch-avs.fr> a écrit : Une baie MSA 2050 avec port SAS pour connecter les 3 serveurs DL donc pas de réseau entre les hôtes et le stockage sous vmware on voit le stockage comme du stockage interne mais je voulais m'assurer que sur Proxmox on est la même réaction. _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/
Liste de diffusion du %(real_name)s http://www.frsag.org/
-
Arnauld Ballin -
Gilou -
HYVERNAT Philippe Responsable Informatique CHAVS -
Yann Richard