Bonjour a tous;
J'ai parfois vu Ortro en prod également.
http://sourceforge.net/projects/ortro/
On Mon Nov 24 2014 at 16:23:36 Gilles Mocellin < gilles.mocellin@nuagelibre.org> wrote:
Le 24/11/2014 16:10, Erwan Ben Souiden a écrit :
Bonjour,
Nos projets internes deviennent de plus en plus dépendants les uns des autres : certains récupèrent des données, d'autres compilent ces données, d'autres les analysent, d'autres les exportent, etc... Du coup certains process sont bloquants pour que d'autres puissent démarrer (bien entendu uniquement si ce dernier n'a pas rencontré de problème).
J'aimerai savoir comment vous vous gérez ce genre de problématique de scheduler gérant les dépendances entre plusieurs process sur potentiellement plusieurs machines ?
- vous gérez simplement via cron
- vous testez si une ressource/notif/info quelconque soit ok et vous
bouclez en sleepant tant que ce n'est pas dispo (avec des gardes fous pour éviter que ça sleep à l'infini)
- vous avez développé votre propre solution ?
- autre ?
En cherchant un peu, voici des solutions qui ont l'air pas mal (avec des jolies interfaces pour suivre ce qui est lancé/fail/done) - les avez vous testé?
(une sorte de cron un peu plus poussé pour gérer de la dépendance avec une GUI)
- https://github.com/spotify/luigi (la sollution home made de spotify)
J'ai pu lire aussi que certains utilisaient Jenkins pour faire ça, mais ça me semble très lourd.
On se dirige vers une solution en interne mais j'aimerai bien avoir votre retour et échanger sur comment vous faîtes de votre côté :)
Merci d'avance ! /Erwan
Je suppose que tu souhaites du libre, car il ya plein de gros tenors sur ce créneau comme Control-M, $Univers... Liste ici :
https://fr.wikipedia.org/wiki/Ordonnancement_de_t%C3%A2ches_informatiques#.C...
J'ai vu récemment une conf où ils parlaient de rundeck ( http://rundeck.org/), certainement à prendre en considération.
Sinon, à l'époque où j'ai aussi regarder ce genre de besoin, j'avais vu qu'il y en avait quelques uns, mais assez orienté cluster de calcul. Dans ma Debian, je trouve :
- Torque (
http://www.clusterresources.com/pages/products/torque/)
- Grid Engine (http://gridengine.sunsource.net)
- OAR (http://oar.imag.fr/)
Liste de diffusion du FRsAG http://www.frsag.org/