FRsAG

frsag@frsag.org

8 participants
2596 discussions

Structure pour un service de stockage de médias
by Sky Gunning 23 Jul '10

23 Jul '10

Bonjour à tous, Je doit réfléchir à la structure pour un service de stockage de médias. Je développe surtout le bouzin, mais évidemment, y'a personne dans ma boite qui soit adminsys... Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N serveur pour gérer l'affichage. En sachant que la génération des miniatures (avec ImageMagick) demande pas mal de ressource. Peut être un serveur qui gère cela de façon indépendante serai aussi pas mal. Vous avez des conseils sur comment gérer le côté réparation ? Merci :) Sky_G

13 20

Re: [FRsaG] Lot FRsaG, Vol 1, Parution 43
by Mehdi Badreddine 23 Jul '10

23 Jul '10

> > Message: 2 > Date: Thu, 22 Jul 2010 16:39:36 +0200 > From: Greg <greg-frsag(a)duchatelet.net> > To: frsag(a)frsag.org > Subject: Re: [FRsaG] Structure pour un service de stockage de médias > Message-ID: <4C485828.6010208(a)duchatelet.net> > Content-Type: text/plain; charset=ISO-8859-1; format=flowed > > Bonjour Pierre-Henry ;) > > > De mon côté après avoir testé GlusterFS en v2 et v3, il y a bien trop de > problème notamment des non reconnection du point de montage aux serveurs > > ou des fichiers corrompu. > > +1 > > > Entre les deux et c'est ce que j'ai choisi, tu as MogileFS, ce n'est pas > un filesysteme posix ce qui est un peu dommage mais > > le fait est qu'y accéder par une api sur un canal http facilite la > vitesse. > > Pour moi la rolls sur la papier c'est Ceph : http://ceph.newdream.net/ > Ca roule en kernel space (pas de fuse). > Dommage que ce soit encore en beta et qu'il soit nécessaire d'avoir le > kernel 2.6.34, sinon je le mettrais en place tout de suite. > L'année prochaine ou 2012, je passe mon NFSv4 avec SAN dessus. Voir > avant si j'ai du temps pour mettre en place une plateforme de test. > > -- > Greg > Hello, Concernant ceph, ça a l'air intéressant. Quelqu'un a-t-il déjà testé ? Mehdi

1 0

Synchro en masse
by Burps Burps 23 Jul '10

23 Jul '10

Bonjour la liste, Ya un thread en cours qui m'a fait penser que vous pourriez peut-etre m'aider sur une problematique que j'ai. Mise en situation : un SAN d'environ 250 To, plusieurs milliards de fichiers, dont une bonne partie change quotidiennement (environ 20-30 To). Projet : migrer le SAN (d'un fabricant X) vers un nouveau SAN (fabricant Y), sans interrompre la prod. La solution la moins pourrie à laquelle on a réfléchi jusque la, c'est : - un premier "cp", bien bourrin, qui va prendre plusieurs jours vraisemblablement - suivi de plusieurs rsync, ou des "rsync par morceaux" (on rsync un "repertoire", puis on previent l'applicatif "attention, tes données sont sur le nouveau SAN"). Mais bon, on a peur avec le rsync qu'il prenne des plombes, et qu'entre le scan des repertoire et la copie réelle, yait eu du mouvement, etc... Sachant que c'est une "one-time operation", pas besoin de rester sur la durée, auriez-vous de bonnes idées à me soumettre ? Merci d'avance. Burps -- You Rock! Your E-Mail Should Too! Signup Now at Rock.com and get 2GB of Storage! http://connections.rock.com/user/displayUserRegisterPage.kickAction?as=1167…

8 8

Synchro inotify+rsync
by Dominique Rousseau 22 Jul '10

22 Jul '10

Le Thu, Jul 22, 2010 at 04:01:12PM +0200, Bedis 9 [bedis9(a)gmail.com] a écrit: > > Csync2 et Rsync ont leur limite .... > > > > > C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes > les 5 minutes va te prendre du temps ;) > > Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux > fichiers à la fin de chaque écriture. A ce sujet, quelqu'un a des retours d'expérience sur une solution couplant inotify et rsync (ou similaire), pour une synchro de stockage de mails (donc en millions de fichiers) ? J'ai plus ou moins repéré, sans les tester, encore lsyncd et openduckbill (au départ, j'étais parti à en coder un, mais pour une fois, j'ai googlé avant :-) http://code.google.com/p/lsyncd/ http://code.google.com/p/openduckbill/ -- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 50, rue Riolan 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop

3 5

Processeurs Nehalem
by Greg 22 Jul '10

22 Jul '10

Bonjour, je vous passe les détails, mais les devs ont fait un site avec un modèle MVC et un framework que je ne citerais pas... Mais c'est pas assez rapide, donc comme vous le savez ça retombe sur les sysadmins. Ne vous inquiétez pas je ne me suis pas laisser faire ;) et ce depuis le départ, quand un simple "hello world" sortait en 400ms contre 10ms brut avec un include_de_2k_lignes_mais_sans_objets... Une des solutions pour accélérer le bouzin, c'est de changer le hardware. Pas la peine de parler des autres solutions, je les connais déjà, je souhaite juste étudier et chiffrer celle-ci. Aujourd'hui on a des serveurs 8 coeurs cadencés a 2,33GHz (L5410), et je voudrais savoir ce que donnerais un Nehalem cadencé à 2.26GHz par rapport aux Xeon, pour exécuter des pages PHP5. Aujourd'hui elles sortent en ~500ms avec les Xeon, avec APC, du cache, et tout le toutim. Est-ce que vous avez déjà expérimenter ces processeurs pour ce type d'application ? Ya de grande chance pour que j'en achète un pour voir, mais je souhaite d'abord écouter vos avis. -- Greg

18 44

Re : Structure pour un service de stockage de médias
by Renaud Hager 22 Jul '10

22 Jul '10

----- Message d'origine ---- De : Sky GUNNING <sky.gunning(a)gmail.com> À : frsag(a)frsag.org Envoyé le : Jeu 22 juillet 2010, 15h 28min 37s Objet : Re: [FRsaG] Structure pour un service de stockage de médias Bonjour > > Quelque chose me dit que tu as plus besoin d'un architecte que d'un sysadmin... >(Remarque, je pense ne pas avoir compris la question, donc je me trompe >peut-être). > > C'est possible ... je ne sais pas trop. Ceci est pour parer à un problème qui va survenir tôt ou tard avec la configuration actuel. (1 seul serveur :)) Je doit redeveloppé le système (certaines partie du moins) pour collé avec une meilleure architecture. >> Je pensez à N serveur de stockage, un serveur pour la BDD (mysql) et N >> serveur pour gérer l'affichage. >> > Déjà, première réaction : un seul serveur pour la BDD = ennuis en vue. Pars sur >2 au moins. > Ok, noté. > Deuxième réaction : si tu accèdes aux N serveurs de stockage indépendamment, ça >sent aussi les galères. > Il y a des solutions pour voir le N serveurs comme 1 seul service >clusterisé/redondant/... (perso, j'ai toujours bossé dans des boîtes qui avaient >les moyens d'acheter du NetApp et/ou de l'Isilon, donc je suis pas bien placé >pour conseiller une solution open-source pour faire la même chose). > Je connais pas. Effectivement, les moyens sont pour le moment assez limité. > Troisième réaction : ça sent le projet qui a vraiment besoin d'un sysadmin. > Possible, mais cf. problème de moyens pour l'instant pour ce projet. > NB : si tu attends du trafic, une couche de proxies devant les serveurs web est >plus qu'intéressant > > Si par traffic tu entend bande passante, alors oui, y'en aura de plus en plus. >> Vous avez des conseils sur comment gérer le côté réparation ? >> > Tu peux préciser ? Chez moi, pour les réparations des serveurs, y'a des mecs >qui vont dans la salle machine, mais je suppose que ce n'est pas ta question... > >Oups, c'est pas réparation, mais répartition. >Désolé. >Merci >Sky_G Si j'osais je parlerais du SONAS (http://www.lemagit.fr/article/hp-ibm-nas-cluster-isilon-panasas/5598/1/ibm-…). Il va etre mis en place sur un projet de stockage de fichiers vidéo de l'ordre du peta. L'inconvenient est comme toujours avec les produits IBM, c est le prix .... _______________________________________________ FRsaG mailing list FRsaG(a)frsag.org http://www.frsag.org/mailman/listinfo/frsag

1 0

Yubikey / Authentification forte
by Cédric Polomack 22 Jul '10

22 Jul '10

Bonjour la ML, Quelqu'un a t'il déjà mis en œuvre le système de Yubikey ? J'ai recut une de test mais je galère à faire fonctionner le "yubikey-val-server" (ERR Unknown yubikey). Cédric -- Cédric Polomack http://www.secresys.fr

5 8

Annuaire LDAP : Choix de l'implémentation.
by Simon Morvan 22 Jul '10

22 Jul '10

Bonjour à tous, Je réfléchit actuellement à la mise en place d'une solution d'annuaire LDAP pour gérer plus proprement les identités et comptes utilisateurs. Je vois que plusieurs candidats sérieux existent (OpenLDAP, ApacheDS, OpenDS, Fedora DS, ...). Quel est votre implémentation de prédilection et pourquoi ? -- Simon

2 1

Undelete Crypt XFS LVM
by Yoann QUERET 22 Jul '10

22 Jul '10

Bonjour, Suite à un "rm * old/ -Rf" malencontreux (va savoir comment l'étoile est arrivé ici) à la racine d'un point de montage, je cherche une solution pour récupérer les données. Ces données (+/-2To) ne sont pas critiques, d'ou le fait qu'elles n'étaient pas backupé, mais au moins par défit j'ai envie de les récupérer. A savoir que ce point de montage est une partition LVM (2 disques) crypté (Luks) avec un système de fichier XFS. Le système d'exploitation est une Debian Lenny. Il y a visiblement le logiciel "Raise Data Recovery for XFS" ( http://www.ufsexplorer.com/ ) qui semble bien fonctionner mais qui ne fonctionne que sous Windows, et j'ai bien peur qu'il ne soit pas capable de travailler sur un LV de 2 disques, et encore moins si celui-ci est crypté. Prochain test : Exporter la partition LVM décrypté via iscsi, et voir si l'utilitaire "Raise Data Recovery" est capable de l'utiliser, mais j'en doute. Si vous avez des idées ! je suis preneur :-) Yoann

7 8

Analyse de logs
by Eric Joseph-Alexandre 22 Jul '10

22 Jul '10

Sujet moins trollesque (j'espère...). Je cherche un équivalent à SPLUNK (http://www.splunk.com/). Le but c'est de centraliser les logs apache de plusieurs serveur dans un base, pouvoir requetter et répondre aux questions récurentes de mes développeurs sur le nombre moteurs qui passent ou sont passés sur un serveur à un instant T. Mon collègues avait trouvé Octopussy, mais ça ne la pas convaincu. En plus c'était un peut redondant avec notre Nagios. Vous faite comment vous ? +Eric.

11 13

Jump to page:

2025

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

FRsAG