[FRsAG] [TECH] HPC Open Source.

Patrice Guerlais paguerlais at airfrance.fr
Jeu 22 Mai 09:33:49 CEST 2014


Bonjour,

SGE (_Sun_ Grid Engine) est devenu OGE (_Oracle_ Grid Engine) quand Oracle
a racheté Sun et changé la licence pour passer d'une licence libre Sun
SISSL à une licence propriétaire. Puis Oracle a délaissé OGE et l'a revendu
à Univa en 2013 (http://www.univa.com/products/grid-engine).
Face à ces changements, la communauté a forké SGE en partant de la dernière
version libre, 6.2u5. Deux forks ont vu le jour :
- Son of Grid Engine, que je ne connais pas du tout :
https://arc.liv.ac.uk/trac/SGE
- Open Grid Scheduler, qui est totalement compatible avec [OS]GE 6.2u5 au
point de pouvoir mélanger dans une même grille des noeuds installés avec
l'un ou l'autre : http://sourceforge.net/projects/gridscheduler/
Selon les besoins et contraintes, il faut choisir entre une version payante
et supportée par une entreprise (Univa), ou une version libre avec tout ce
que ça sous-entend (support par la communauté, pérennité, accès aux
sources, ...).

Il faut bien comprendre que ni MPI ni [OS]GE/OGS ne va résoudre tes
problèmes seul : le code doit être adapté pour utiliser MPI, et la grille
de calcul ne sait rien faire d'autre que distribuer des tâches sur des
noeuds de calcul (mais le fait bien !).
Je n'ai jamais utilisé MPI, je ne pourrai pas en dire beaucoup plus.
Je connais beaucoup mieux [OS]GE/OGS et ses contraintes. ll faut découper
les données en chunks cohérents qu'une tâche va pouvoir traiter, le
traitement devient alors :
1. génération des chunks : cette étape peut être inutile si le découpage
consiste à prendre les données de l'octet 0 à 999, puis 1000 à 1999, ...
Une tâche à partir de son numéro d'ordre est alors capable toute seule
d'accéder à ses données, mais ça peut être plus compliqué si les données
résultent de l'agrégation de plusieurs sources.
2. donner à la grille les n tâches à exécuter, le moteur de grille va alors
les répartir sur les différents noeuds de calcul. Chaque tâche génère une
fraction du résultat final.
3. agréger les résultats partiels pour aboutir au résultat final. Là-encore
cette étape peut ne pas exister si les résultats partiels sont
auto-suffisants.
La grille impose de plus la mise en place d'une infrastructure matérielle
et de services : noeuds maîtres et de calcul, partage NFS entre les noeuds
(obligatoire pour [OS]GE/OGS/Son of GE), ... et qu'il faudra exploiter.

Par expérience SGE/OGE/OGS fonctionnent parfaitement, c'est robuste, simple
à mettre en place et à exploiter.

Dernière chose : une autre alternative est Hadoop, plus complexe à mettre
en oeuvre et qui demande du développement adapté, mais très efficace. A
regarder attentivement.

Les liens qui vont bien (merci Wikipédia !) :
SGE : http://en.wikipedia.org/wiki/Oracle_Grid_Engine
Hadoop : http://en.wikipedia.org/wiki/Hadoop

Patrice


"FRsAG" <frsag-bounces at frsag.org> a écrit sur 21/05/2014 19:58:38 :

> Thierry Thomas <thierry at FreeBSD.org>
> Envoyé par : "FRsAG" <frsag-bounces at frsag.org>
>
> 21/05/2014 19:58
>
> A
>
> frsag at frsag.org
>
> cc
>
> Objet
>
> Re: [FRsAG] [TECH]  HPC Open Source.
>
> Le mer 21 mai 14 à 16:42:31 +0200, Alexandre <infos at opendoc.net>
>  écrivait :
>
> > Bonjour à tous,
>
> Salut,
>
> > J'ai trouvé MPI qui pourrait correspondre à mon besoin :
> > http://www.open-mpi.org/
> >
> > Qu'en pensez-vous ? Avez-vous d'autres solutions (sans
externalisation) ?
>
> MPI est un protocole, et il y a plusieurs implémentations. J'ai
> l'impression que MPICH <http://www.mpich.org/> est plus répandu.
>
> Ça correspond tout à fait au besoin, mais attention : les programmes
> applicatifs utilisés doivent être adaptés et compilés avec les
> bibliothàques MPI.
>
> Ceci dit, je ne sais pas de quels calculs il s'agit, mais les principaux
> logiciels de calcul libres ont déjà des options de compilation pour MPI.
>
> Il y avait aussi SGE (Sun Grid Engine) qui était libre, mais je ne sais
> pas trop ce que ça devient depuis le rachat d'Oracle...
>
> > OVH avait racheté une boite en 2012 qui faisait ca, Oxalya
> >
> > http://www.oxalya.com/?p=1570
>
> Aucune idée...
> --
> Th. Thomas.
> _______________________________________________
> Liste de diffusion du FRsAG
> http://www.frsag.org/
--   
Accédez aux meilleurs tarifs Air France, gérez vos réservations et enregistrez-vous en ligne sur  http://www.airfrance.com  
Find best Air France fares, manage your reservations and check in online at  http://www.airfrance.com  Les données et renseignements contenus dans ce message peuvent être de nature confidentielle et soumis au secret professionnel et sont destinés à l'usage exclusif du destinataire dont les coordonnées figurent ci-dessus. Si vous recevez cette communication par erreur, nous vous demandons de ne pas la copier, l'utiliser ou la divulguer. Nous vous prions de notifier cette erreur à l'expéditeur et d'effacer immédiatement cette communication de votre système. Société Air France - Société anonyme au capital de 126 748 775 euros - RCS Bobigny (France) 420 495 178 - 45, rue de Paris, Tremblay-en-France, 95747 Roissy Charles de Gaulle CEDEX  
The data and information contained in this message may be confidential and subject to professional secrecy and are intended for the exclusive use of the recipient at the address shown above. If you receive this message by mistake, we ask you not to copy, use or disclose it. Please notify this error to the sender immediately and delete this message from your system. Société Air France - Limited company with capital of 126,748,775 euros - Bobigny register of companies (France) 420 495 178 - 45, rue de Paris, Tremblay-en-France, 95747 Roissy Charles de Gaulle CEDEX  Pensez à l'environnement avant d'imprimer ce message.  
Think of the environment before printing this mail.   
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: <http://www.frsag.org/pipermail/frsag/attachments/20140522/a7d3bac6/attachment.html>


Plus d'informations sur la liste de diffusion FRsAG