FRsAG

frsag@frsag.org

8 participants
2596 discussions

[BIZ] Revendeur de serveur orienté stockage NAS (TrueNAS) ?
by DUVERGIER Claude 08 Jan '24

08 Jan '24

Bonjour, Après avoir résolu mon évolution de routeur (sur FrnOG), j'ai besoin de monter un nouveau serveur de stockage local (NAS). On a déjà des serveurs de stockage, sous TrueNAS SCALE (la variante Debian), mais il nous en faudrait un nouveau. Les besoins utilisateurs sont "simples" : * Stockage de fichiers accédés en CIFS * Environ 15 utilisateurs * Quelques gros fichiers graphiques et vidéos (2/3 monteurs et graphistes qui travaillent en direct sur le réseau) Niveau matériel : * CPU : 1 seul suffira * 64 Go de RAM ECC * Capacité disques : 6 HDD LFF/3.5" pour le stockage, 2 HDD/SSD pour le système * Pas de RAID matériel (cause RAID-Z2 ZFS sur TrueNAS) * Accès IPMI/BMC/iLO/iDRAC/… * 2 ports réseau Ethernet Gigabit avec possibilité d'ajout de SFP+ * Double alimentation électrique * Les rails de montage en rack * Tous les caddy/tray/tiroirs de disque * Compatible TrueNAS (carte LSI typiquement) * **En stock** Je n'ai pas de préférence quand au fabriquant (j'ai déjà du HP et du Dell). J'avais par exemple trouvé le Supermicro SYS-620P-TRT chez un revendeur mais il n'était plus en stock le temps de vérifier quelques détails. Vu mes besoins (que je trouve modestes mais je peux me tromper), du refurbished me convient également si ça permet d'avoir accès à du stock. Donc s'il y a des revendeurs de serveurs, voire des intégrateurs TrueNAS sur la liste ou dans vos contacts, je prends ;) Et je prends aussi les conseils sur du TrueNAS utilisé pour des fichiers vidéos si vous en avez. Merci -- Duvergier Claude

4 3

Re: Recherche solution de backup adaptée à de fortes volumétries
by Denis PUGNERE 04 Jan '24

04 Jan '24

Bonjour Fabien, la liste, Petit retour d'expérience d'un labo de recherche sur EOS que Gilles a mentionné. je gère 2 instances EOS dans 2 contextes d'utilisation différents : * Stockage de données scientifique d'un laboratoire de recherche : Stockage de datasets de données de CMS (https://cms.cern) et de nos autres expériences internes, supportant à la fois les protocoles de transfert de données (XRootD and HTTPS) entre datacenters de la grille WLCG (https://wlcg.web.cern.ch/) et EGI (https://www.egi.eu/) et à la fois des accès locaux (type POSIX via FuseX) * Stockage Online des données qui sortent d'une expérience, sorte de buffer proche du détecteur, pour que les données soient calibrées / traitées / filtrées / nettoyées sur place avant d'être exportées vers les centres de calcul CERN/IN2P3/FNAL... Authentification supportée : kerberos et certificats x509 depuis longtemps, OIDC plus récemment Au niveau du stockage, c'est très versatile : sur du RAID matériel ou logiciel (pas conseillé), sur du JBOD. Tu peux aussi assurer de la redondance via des réplicas ou alors de l'erasure coding, par répertoire. par exemple /eos/stockage/cycle1/exp1/processed en réplica 2 et /eos/stockage/cycle1/exp1/raw en erasure coding. L'erasure coding prends tout son sens sur du JBOD puisque tu assures la redondance des données sur des disques différents et sur des serveurs de stockage différents avec un overhead faible. Quotas par utilisateur, par groupe, par projet (arborescence) Comme stockage distribué c'est bien pensé puisque les meta-données sont distribuées dans QuarkDB (KV store backend en haute dispo) et si tu utilises l'erasure coding avec un nb de FST (serveurs de stockage) > N+P, alors tu continues à avoir accès à tes données même si tu perds un FST. Au niveau de tes critères : * open source * scalable natif. + il y a de serveurs de stockage, mieux c'est. Au niveau du roulement des serveurs : drain du serveur à remplacer (1 commande à taper), on revient + tard quand il a fini de déplacer les n TB vers les autres serveurs de stockage, on traite les cas particuliers, on le sort de prod, on le remplace et le nouveau serveur entré en prod récupère sa part comme avec CEPH. * interfacé avec les bandes via un autre de leurs soft CTA (https://cta.web.cern.ch/cta) * Pas trop complexe / usine à gaz : un peu complexe quand même quand on veut utiliser les fonctionnalités ou modifier le comportement des sous composants, mais une fois qu'on a compris les briques de bases (Namespace MGM + persistance des meta-données dans QuarkDB + stockage des données dans les FST), le reste est de la routine de services de stockage. Au niveau des performances, aucun problème pour saturer des liens a n*10Gb/s, même pour des petits fichiers. NB : Prochain workshop EOS en mars 2024 [ https://indico.cern.ch/event/1353101/ | https://indico.cern.ch/event/1353101/ ] Cordialement Denis ----- Le 3 Jan 24, à 20:43, Gilles Mocellin <gilles.mocellin(a)nuagelibre.org> a écrit : Le mercredi 3 janvier 2024, 18:42:10 CET Fabien Sirjean a écrit : BQ_BEGIN Bonsoir la liste, En ce début d'année, je me creuse la cervelle autour des sauvegardes, alors je vous partage mes questionnements :) Petit topo du contexte : je bosse dans un centre de recherche scientifique, dont les instruments produisent pas mal de données. Ces données sorties des instruments "raw" sont ensuite traitées et transformées pour analyse (données "processed"), en vue de publier des papiers de recherche. Les données raw sont produites pendant des "cycles" de fonctionnement (3 à 4 cycles par an) et l'approche est WORM (c'est la valeur produite par l'institut, les données raw sont impossibles à reproduire). Les données processed sont produites en continu selon l'activité des scientifiques, parfois plusieurs années après la production des données raw associées. Les données processed sont recalculables à partir des données raw, mais ça peut être coûteux (temps et puissance de calcul). On a actuellement 1.3 PiB de data (raw+processed) sur notre stockage primaire. Ça tourne sur une infra Ceph en triple réplication, grosso-merdo ça fait 600 disques mécaniques de 20TB. Évidemment on est sur un scénario loin d'être idéal pour le stockage : on a principalement de très nombreux petits fichiers (<128 KB). Mais on a aussi des fichiers >1TB, sinon c'est pas drôle... Si vous voulez une idée de la tête de l'arborescence, ça ressemble à ça : https://pastebin.com/vVF31cv4 On aimerait changer de solution de backup pour ces données, au profit d'un truc qui coche au moins plusieurs de ces critères (tous, je sens que ça va être compliqué) : * Open Source * Pas trop complexe / usine à gaz * Scalable (marre de changer tout le matos tous les 4-5 ans parce que y'a plus de place...) * Qui permette de gérer indépendamment le backup des données "raw" (ça bouge pas mais on veut vraiment pas les perdre) des données "processed" (ça bouge, on peut se permettre de les perdre, on peut réduire la rétention pour les vieux cycles) * Qui fasse pas nécessairement tourner des tas de disques en permanence (les données raw pourraient très bien être sur de la bande magnétique, vu qu'elles ne bougent plus du tout une fois le cycle terminé) * Qui coûte un prix raisonnable Jusqu'ici on fait du bacula et du rsync sur ZFS (un serveur avec plein de baies JBOD en SCSI). Mais c'est plein, et il faut donc faire évoluer tout ça. Le plus simple pour nous serait probablement de continuer avec la même solution sur le plan logiciel, en passant sur un stockage distribué comme Ceph pour avoir la scalabilité souhaitée. Mais ça fait la même techno pour le stockage primaire et le backup (pas top), et Ceph n'est pas très efficient (même si on peut faire des choses en Erasure Coding). De plus, ça ne permet pas d'intégrer des bandes magnétiques dans l'équation. Voilà, n'hésitez pas à partager vos avis et expériences. Notamment je n'ai jamais bossé avec de la bande magnétique, je me questionne pas mal sur la pertinence et la facilité de gestion. Si des commerciaux passent par là : vous pouvez me contacter sur mon mail pro (sirjean(a)ill.fr) mais je suis plutôt dans une phase exploratoire (il y aura de toutes façon un appel d'offres). Merci pour vos retours, et à bientôt :) Fabien Bonjour, En restant dans le domaine de la recherche, on a évidemment le CERN qui peut être pris comme référence / inspiration. https://home.cern/science/computing/storage Ils ont du Ceph, mais à priori, pas pour les données des expériences, surement pour leur Cloud OpenStack. Leur stockage est fait maison (EOS https://eos-web.web.cern.ch/eos-web/) Et le stockage long terme, archivage est sur bande. PS: Tien, je vois que EOS a plusieurs backends de stockage à proprement dit, et qu'on y retrouve Ceph aussi, en mode RADOS direct ou CephFS... _______________________________________________ Liste de diffusion du %(real_name)s http://www.frsag.org/ BQ_END -- [ https://www.ip2i.in2p3.fr/ ] Denis PUGNÈRE Institut de Physique des 2 Infinis de Lyon Campus LyonTech la Doua, bâtiment Dirac 4 rue Enrico Fermi , 69622 Villeurbanne +33 (0) 7 89 32 12 46 [ https://twitter.com/ip2ilyon | ] [ https://facebook.com/IP2ILyon ] [ https://www.ip2i.in2p3.fr/ | https://www.ip2i.in2p3.fr ]

1 0

Recherche solution de backup adaptée à de fortes volumétries
by Fabien Sirjean 04 Jan '24

04 Jan '24

Bonsoir la liste, En ce début d'année, je me creuse la cervelle autour des sauvegardes, alors je vous partage mes questionnements :) Petit topo du contexte : je bosse dans un centre de recherche scientifique, dont les instruments produisent pas mal de données. Ces données sorties des instruments "raw" sont ensuite traitées et transformées pour analyse (données "processed"), en vue de publier des papiers de recherche. Les données raw sont produites pendant des "cycles" de fonctionnement (3 à 4 cycles par an) et l'approche est WORM (c'est la valeur produite par l'institut, les données raw sont impossibles à reproduire). Les données processed sont produites en continu selon l'activité des scientifiques, parfois plusieurs années après la production des données raw associées. Les données processed sont recalculables à partir des données raw, mais ça peut être coûteux (temps et puissance de calcul). On a actuellement 1.3 PiB de data (raw+processed) sur notre stockage primaire. Ça tourne sur une infra Ceph en triple réplication, grosso-merdo ça fait 600 disques mécaniques de 20TB. Évidemment on est sur un scénario loin d'être idéal pour le stockage : on a principalement de très nombreux petits fichiers (<128 KB). Mais on a aussi des fichiers >1TB, sinon c'est pas drôle... Si vous voulez une idée de la tête de l'arborescence, ça ressemble à ça : https://pastebin.com/vVF31cv4 On aimerait changer de solution de backup pour ces données, au profit d'un truc qui coche au moins plusieurs de ces critères (tous, je sens que ça va être compliqué) : * Open Source * Pas trop complexe / usine à gaz * Scalable (marre de changer tout le matos tous les 4-5 ans parce que y'a plus de place...) * Qui permette de gérer indépendamment le backup des données "raw" (ça bouge pas mais on veut vraiment pas les perdre) des données "processed" (ça bouge, on peut se permettre de les perdre, on peut réduire la rétention pour les vieux cycles) * Qui fasse pas nécessairement tourner des tas de disques en permanence (les données raw pourraient très bien être sur de la bande magnétique, vu qu'elles ne bougent plus du tout une fois le cycle terminé) * Qui coûte un prix raisonnable Jusqu'ici on fait du bacula et du rsync sur ZFS (un serveur avec plein de baies JBOD en SCSI). Mais c'est plein, et il faut donc faire évoluer tout ça. Le plus simple pour nous serait probablement de continuer avec la même solution sur le plan logiciel, en passant sur un stockage distribué comme Ceph pour avoir la scalabilité souhaitée. Mais ça fait la même techno pour le stockage primaire et le backup (pas top), et Ceph n'est pas très efficient (même si on peut faire des choses en Erasure Coding). De plus, ça ne permet pas d'intégrer des bandes magnétiques dans l'équation. Voilà, n'hésitez pas à partager vos avis et expériences. Notamment je n'ai jamais bossé avec de la bande magnétique, je me questionne pas mal sur la pertinence et la facilité de gestion. Si des commerciaux passent par là : vous pouvez me contacter sur mon mail pro (sirjean(a)ill.fr) mais je suis plutôt dans une phase exploratoire (il y aura de toutes façon un appel d'offres). Merci pour vos retours, et à bientôt :) Fabien

5 4

Re: Journal.....
by Stéphane Rivière 13 Dec '23

13 Dec '23

Le 08/12/2023 à 15:42, Thomas Constans via FRsAG a écrit : > Moi j'aime bien +1000 Ou les priorités fines de services actifs avant de lancer le sien, ou le restart automatique... -- Stéphane Rivière Ile d'Oléron - France

6 10

Journal.....
by David Ponzone 11 Dec '23

11 Dec '23

Dites, c’est moi, ou le remplacement de syslogd par journald est une des plus grandes pitreries de l’histoire de Linux ?

15 21

Debian 12 / ext4 data corruption
by Romain 11 Dec '23

11 Dec '23

Pour ceux qui auraient raté l'actu : - https://twitter.com/debian/status/1733559140914749547 - https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1057843 Ne pas installer le paquet 6.1.64-1 du kernel. Romain

4 6

Push notification
by Jerome Lien 06 Dec '23

06 Dec '23

Bonjour à tous, aprés les Faxs, les sms... passons à la notification android/iphone .... nos developpeur web aimeraient implanter des push notification dans leur app's et nous demandent un coups de main pour savoir la meilleur méthode pour s'y prendre. au début j'ai regardé la plateforme FCM (firebase) de google et aprés je suis tombé sur plein de plateforme "gérant" iphone et android, type onesignal ou truepush ... auriez vous des conseils à donner ? ou des pistes ? on parle de : >100k notificaiton /mois >android/iphone >web apps pour l'instant (pas d'apk) meric à tous, jerome

4 3

Apéro Lyonnais : lundi 04 décembre 2023
by cam.lafit 04 Dec '23

04 Dec '23

Bonjour Afin de finir en fanfare l'année, je vous propose de nous retrouver ce lundi 04 décembre. On profite de la neige non encore arrivée pour profiter d'un bon grog :) On pourra même parler CI/CD et construction automatique de paquet debian si vous voulez. Je vous attends donc ce soir soir pour un apéro lyonnais et ses environs au : Malting-Pot 263 Grande Rue de la Guillotiere, 69007 soit ce lundi 04 décembre 2023 dès 19h. Et toujours vaguement des infos sur : http://www.agendadulibre.org/tags/araas https://www.meetup.com/fr-FR/Auvergne-Rhone-Alpes-Apero-Admin-Sys/ Km

1 0

Recherche Expert NextCloud
by SIMANCAS Hugo 20 Nov '23

20 Nov '23

Bonjour, Je cherche un expert NextCloud pour une inter en urgence sur devis. Le besoin est du tuning pour augmenter la capacité du serveur à recevoir du fichier de +3Go sans planter. Infra : Reverse nginx Serveur Core Ubuntu 20.04 LTS avec tout up to date Merci Hugo 06 95 44 29 64

3 2

Re: Avis choix hébergeur messagerie
by Laurent Barme 17 Nov '23

17 Nov '23

Le 17/11/2023 à 14:43, Thomas Constans via FRsAG a écrit : > > > l'avantage quand on ses propres serveurs de mail c'est qu'on sait où ça bloque > et on ne dépend pas d'un service de support plus ou moins dispo et efficace. > ++ C'est le seul avantage qui reste à cette solution mais il est considérable.

1 0

← Newer
1
...
9
10
11
12
13
14
15
...
260
Older →

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG