[FRsAG] [TECH] HPC Open Source.

Sylvain MAURIN sylvain.maurin at isc.cnrs.fr
Jeu 22 Mai 16:08:35 CEST 2014


Salut,

Si vous faites du calcul, peut etre pouvez vous etre aussi dans le
creneau de la recherche ? Alors le groupe calcul est la pour partager
http://calcul.math.cnrs.fr/spip.php?rubrique3

A defaut, l'evidence est de ne jamais mettre de surcouche(VM), laisser
les CPU plein pot (vilain les speedstep, turbo machin et autre IDLE
mode, alors un hyperviseur !!!). 

Avant tout faut savoir si les ressources par noeud sont "adaptables" au
probleme. Si la // du calcul est intelligemment faite, mettre de la
communication inter-noeud quand on est capable de faire le bouzin
localement a un cout economiquement supportable n'a pas de sens. Les
latences sur un reseau sont toujours invraisemblablemenent plus fortes
que sur un bus CPU/RAM, donc penalisantes pour la mutualisation du
calcul sur une grappe de machine. Le local sur le materiel : <<tout le
monde>> sait faire communiquer les process.

Apres, pour certains calculs dans certains contexts avec des ing. pour
maintenir le calculateur, former les developpeurs et verifier le code,
pourquoi pas mais alors en general, c'est que l'on ne calcul plus alors
sur le prix du materiel.

Or si vous calculez sur le materiel et regardez des VM, j'imagine qu'il
n'y a pas toutes la ressource pour payer l'humain. Si vous voulez
essayer la com inter-noeud pendant le calcul ou apprenez a
coder/utiliser avec une infra de type amazone qui sait faire du HPC.

Si vous en etiez a seulement reflechir a l'ordemencement des jobs, et
aviez deja achete des noeuds avec 64 coeurs, oubliez ce que je viens
d'ecrire SVP.

Cordialement, 
Sylvain MAURIN

On Wed, 2014-05-21 at 16:42 +0200, Alexandre wrote:
> Bonjour à tous,
> 
> je souhaite avoir quelques retours sur l'utilisation des technos HPC. Je 
> me permets de vous lister mon besoin, peut-être que l'HPC n'est pas la 
> bonne solution.
> 
> Aujourd'hui, nous avons de nombreux calculs réalisés sur déférentes 
> machines physiques. Un calcul spécifique est associé à une machine. Nous 
> rencontrons des problèmes de mutualisation de ressources concernant 
> l'espace et la puissance de calcul.
> 
> Dans un premier temps je suis dirigé vers la virtualisation. Sachant que 
> mes machines physiques possèdent 64 procs et que les VM 32, les 
> ressources sont très vite utilisées, et la virtualisation me provoque 
> des ralentissements des calculs. J'aurai besoin de "fusionner" les 
> ressources physiques. Idéalement de faire tourner un traitement sur 
> plusieurs machines. Il me semble que mon besoin serait plus du "High 
> Performance Computing". Je pense que vous êtes beaucoup à avoir ce besoin.
> 
> J'ai trouvé MPI qui pourrait correspondre à mon besoin : 
> http://www.open-mpi.org/
> 
> Qu'en pensez-vous ? Avez-vous d'autres solutions (sans externalisation) ?
> 
> OVH avait racheté une boite en 2012 qui faisait ca, Oxalya
> 
> http://www.oxalya.com/?p=1570
> 
> Alex.
> _______________________________________________
> Liste de diffusion du FRsAG
> http://www.frsag.org/

-- 
**************************************************
*  Sylvain MAURIN - ASR - CNRS
*  Institut des Sciences Cognitives
*  67, boulevard Pinel  69675 BRON cedex
*  Tel: +33 437911214 Cel: +33 612399929
*  Mail: sylvain.maurin at isc.cnrs.fr
**************************************************
-------------- section suivante --------------
Une pièce jointe autre que texte a été nettoyée...
Nom: smime.p7s
Type: application/x-pkcs7-signature
Taille: 4002 octets
Desc: non disponible
URL: <http://www.frsag.org/pipermail/frsag/attachments/20140522/d8457553/attachment.bin>


Plus d'informations sur la liste de diffusion FRsAG