Le Thu, Jul 22, 2010 at 04:01:12PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron toutes les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de nouveaux fichiers à la fin de chaque écriture.
A ce sujet, quelqu'un a des retours d'expérience sur une solution couplant inotify et rsync (ou similaire), pour une synchro de stockage de mails (donc en millions de fichiers) ?
J'ai plus ou moins repéré, sans les tester, encore lsyncd et openduckbill (au départ, j'étais parti à en coder un, mais pour une fois, j'ai googlé avant :-)
http://code.google.com/p/lsyncd/ http://code.google.com/p/openduckbill/
Tu peux aussi utiliser ça: http://www.deathwing00.org/wordpress/?page_id=199
2010/7/22 Dominique Rousseau d.rousseau@nnx.com
Le Thu, Jul 22, 2010 at 04:01:12PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron
toutes
les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de
nouveaux
fichiers à la fin de chaque écriture.
A ce sujet, quelqu'un a des retours d'expérience sur une solution couplant inotify et rsync (ou similaire), pour une synchro de stockage de mails (donc en millions de fichiers) ?
J'ai plus ou moins repéré, sans les tester, encore lsyncd et openduckbill (au départ, j'étais parti à en coder un, mais pour une fois, j'ai googlé avant :-)
http://code.google.com/p/lsyncd/ http://code.google.com/p/openduckbill/
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 50, rue Riolan 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
Le Thu, Jul 22, 2010 at 04:16:14PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Tu peux aussi utiliser ça: http://www.deathwing00.org/wordpress/?page_id=199
Tu l'utilises ? ça scale à plusieurs centaines de milliers de fichiers dans différentes profeondeurs de répertoires ?
2010/7/22 Dominique Rousseau d.rousseau@nnx.com
Le Thu, Jul 22, 2010 at 04:01:12PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Csync2 et Rsync ont leur limite ....
C'est sûr qu'un rsync sur 1000000000 de fichier éxécuter par un cron
toutes
les 5 minutes va te prendre du temps ;)
Tu peux coupler les 2 avec du inotify pour déclencher les copies de
nouveaux
fichiers à la fin de chaque écriture.
A ce sujet, quelqu'un a des retours d'expérience sur une solution couplant inotify et rsync (ou similaire), pour une synchro de stockage de mails (donc en millions de fichiers) ?
J'ai plus ou moins repéré, sans les tester, encore lsyncd et openduckbill (au départ, j'étais parti à en coder un, mais pour une fois, j'ai googlé avant :-)
http://code.google.com/p/lsyncd/ http://code.google.com/p/openduckbill/
-- Dominique Rousseau Neuronnexion, Prestataire Internet & Intranet 50, rue Riolan 80000 Amiens tel: 03 22 71 61 90 - fax: 03 22 71 61 99 - http://www.neuronnexion.coop _______________________________________________ FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
FRsaG mailing list FRsaG@frsag.org http://www.frsag.org/mailman/listinfo/frsag
Le 22/07/2010 16:34, Dominique Rousseau a écrit :
Le Thu, Jul 22, 2010 at 04:16:14PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Tu peux aussi utiliser ça: http://www.deathwing00.org/wordpress/?page_id=199
Tu l'utilises ? ça scale à plusieurs centaines de milliers de fichiers dans différentes profeondeurs de répertoires ?
Salut,
Je suis aussi intéressé. Mais quand je vois python, je flippe un peu pour les perfs ...
C'est vrai que l'idée d'un inotify+rsync provoque en moi une certaine jouissance ...
-- DjinnS
http://linuxfr.org/~zebra3/28023.html pointe sur http://inotify.aiken.cz/?section=incron&page=about&lang=en.
L'idée me plait, quelqu'un a déjà testé ?
-- DjinnS
2010/7/22 Dominique Rousseau d.rousseau@nnx.com
Le Thu, Jul 22, 2010 at 04:16:14PM +0200, Bedis 9 [bedis9@gmail.com] a écrit:
Tu peux aussi utiliser ça: http://www.deathwing00.org/wordpress/?page_id=199
Tu l'utilises ? ça scale à plusieurs centaines de milliers de fichiers dans différentes profeondeurs de répertoires ?
Je ne l'utilise pas mais je connais des boites espagnoles qui l'utilisent (notamment celle où bosse le dév) Je peux t'avoir les infos que tu veux, je rencontre Ioannis la semaine prochaine :)
-
Bedis 9 -
DjinnS -
Dominique Rousseau