Bonjour la liste,
Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ?
Il y a bien la solution de créer des arbo du type [0-9]/[0-9]/dossiers_specifique/mes_fichiers[0-5] ça fonctionne bien au début puis quand on arrive dans les millions de dossiers ça coince.
Plusieurs solutions :
- Déporter les débuts de l'arbo sur un volume spécifique à chaque fois pour moins "tuer" le FS - Passage sur du noSQL type mongoDB avec GridFS - mogileFS - ... ?
Que faîte vous chez vous ?
Yann
Le 04/01/2011 12:35, Yann Verry a écrit :
Bonjour la liste,
Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ?
Il y a bien la solution de créer des arbo du type [0-9]/[0-9]/dossiers_specifique/mes_fichiers[0-5] ça fonctionne bien au début puis quand on arrive dans les millions de dossiers ça coince.
Comment ça, "ça coince" ? Que sont ces fichiers ? Du cache, des images, des mails, ... ?
Plusieurs solutions :
Que faîte vous chez vous ?
tu peux aussi augmenter le nombre d'inodes, en jouant avec les options -i et -I ou alors -N de mkfs. Si tu restes sur un FS, ext4 et la feature dir_index (dispo aussi en ext3) apporte un gain non négligeable.
On Tue, Jan 04, 2011 at 01:04:41PM +0100, Greg wrote:
Le 04/01/2011 12:35, Yann Verry a écrit :
Bonjour la liste,
Je vous sollicite pour avoir plusieurs avis sur la questions. Comment faite vous pour gérer des millions de fichiers sur votre FS ?
Il y a bien la solution de créer des arbo du type [0-9]/[0-9]/dossiers_specifique/mes_fichiers[0-5] ça fonctionne bien au début puis quand on arrive dans les millions de dossiers ça coince.
Comment ça, "ça coince" ? Que sont ces fichiers ? Du cache, des images, des mails, ... ?
des images principalement de petites taille
Plusieurs solutions :
Que faîte vous chez vous ?
tu peux aussi augmenter le nombre d'inodes, en jouant avec les options -i et -I ou alors -N de mkfs. Si tu restes sur un FS, ext4 et la feature dir_index (dispo aussi en ext3) apporte un gain non négligeable.
Les images sont sur un filer, le nombre d'inodes est déjà augmenté à un nombre bien sympa (100Millions d'inodes alloué, 70M de bouffés) * [0-9] = ~1milliard
-- Greg
Liste de diffusion du FRsAG http://www.frsag.org/
Le 04/01/2011 13:24, Yann Verry a écrit :
Comment ça, "ça coince" ? Que sont ces fichiers ? Du cache, des images, des mails, ... ?
des images principalement de petites taille
Dans ce cas, je resterais sur un FS, associé à tout un tas de techniques possibles. (RAID10, buffer cache, tuning NFS/CIFS, reverse-proxies, SATA=>SAS, ......)
Mais pour t'aider, il faudrait que tu nous explique ce qui "coince" ? (Les perfs ?) et aussi plus de détails sur l'archi.
On Tue, Jan 04, 2011 at 03:16:06PM +0100, Greg wrote:
Mais pour t'aider, il faudrait que tu nous explique ce qui "coince" ? (Les perfs ?) et aussi plus de détails sur l'archi.
Actuellement j'ai le modèle décris, un volume par dossier [0-9] sur un filer, ensuite une sous arbo [0-9]/[0-9]/dossier_specifique/fichiers[0-8].jpg Tout tiens, un `ls` est impossible à faire au vu du nombre de dossiers_specifique. Le backup OK etc ... Bref pas grand chose ne "coince" mais je réfléchi sur l'évolution à prendre pour les années futurs, un jours ça va forçément coincer quelque part et je préfère me prémunir que galérer le jour J. D'ou le mogileFS, mongoDB avec GridFS, etc ...
Yann
Le 04/01/11 12:35, Yann Verry a écrit :
- mogileFS
Très bonne solution, éprouvée de mon côté à petite échelle ~800K items entre 15Ko et 200Mo. A grande échelle je connais de tête Skyblog qui l'utilise je ne connais pas le nb d'items. L'avantage c'est que tu ne t'occupe pas de savoir comment nommer ton fichier, tes dossiers, le découpage de ces derniers.
-
Florian Coulmier -
Greg -
Pierre-Henry Muller -
Yann Verry