Projet EUFORIA
EUFORIA (EU Fusion fOR Iter Applications) est un projet financĂ© par l'Union europĂ©enne dans le cadre du septiĂšme programme cadre (7e PC)[1] qui va fournir un cadre et une infrastructure logicielle pour le transport dans le cĆur et le bord et la simulation de la turbulence dans un Tokamak faisant le lien entre la communautĂ© des grilles et du calcul haute performance (HPC), avec la communautĂ© de la modĂ©lisation pour la fusion nuclĂ©aire.
Le projet EUFORIA va accroitre le potentiel de modĂ©lisation pour des plasmas de la taille d'ITER grĂące Ă l'adaptation, l'optimisation et l'intĂ©gration d'un ensemble d'applications critiques pour le transport de cĆur et de bord ciblant diffĂ©rents paradigmes de calcul selon les besoins (sĂ©quentiel ou parallĂšle, grilles et calcul haute performance). Le dĂ©ploiement simultanĂ© d'un service de grille et de services de Calcul Haute Performance sont essentiels pour le projet. Un aspect novateur est le couplage dynamique et l'intĂ©gration de codes et d'applications tournant sur des plateformes hĂ©tĂ©rogĂšnes dans un seul environnement grĂące un moteur de calcul par acteurs et un mĂ©canisme permettant de donner le niveau d'intĂ©gration nĂ©cessaire pour les applications physiques. Cette stratĂ©gie permet d'augmenter considĂ©rablement les possibilitĂ©s de modĂ©lisation intĂ©grĂ©e en fusion magnĂ©tique et en physique des plasmas et de fournir par la mĂȘme occasion une nouvelle infrastructure de calcul et des outils pour la communautĂ© de la fusion en gĂ©nĂ©ral.
RĂ©alisation
La rĂ©alisation du projet EUFORIA comporte deux aspects. Initialement, ces deux aspects se dĂ©veloppent et Ă©voluent en parallĂšle pour ĂȘtre entiĂšrement intĂ©grĂ©s dans les derniĂšres Ă©tapes du projet.
Le premier aspect est une phase de dĂ©veloppement et de dĂ©ploiement qui vise Ă adapter et optimiser, pour le calcul sur grille informatique et le calcul haute performance, une sĂ©lection de codes qui couvrent les domaines de la physique du bord et du cĆur du tokamak. Le dĂ©ploiement d'infrastructures pour le calcul est donc inhĂ©rent Ă cette activitĂ© et un accĂšs Ă de telles ressources est fourni aux membres du projet. Ainsi, cette Ă©tape est principalement conduite par les dĂ©veloppeurs des diffĂ©rents codes et applications puisqu'elle se concentre sur les dĂ©tails d'implantation et de structures de ces codes. Une documentation complĂšte concernant les diffĂ©rents aspects de l'adaptation des codes sera mise au point et diffusĂ©e pour apporter ces nouveaux outils au-delĂ des membres du projet et en faire profiter l'ensemble de la communautĂ© de la fusion. L'expĂ©rience acquise lors de ce travail d'adaptation des code de fusion sera accessible publiquement et un support sera fourni aux nouveaux utilisateur souhaitant mettre Ă disposition leur code dans la plate-forme EUFORIA. Avec cette seule activitĂ©, la communautĂ© de la fusion aura fait un pas en avant significatif grĂące Ă de nouvelles possibilitĂ©s et de nouveaux outils de modĂ©lisation.
Le second aspect concerne la standardisation et l'intĂ©gration de diffĂ©rentes technologies nĂ©cessaires Ă l'extension des cas physiques pour ITER. Cette physique sera dĂ©crite Ă l'aide d'un flux de tĂąches (Workflow) complexe oĂč une tĂąche correspond Ă l'exĂ©cution d'un code de physique. Il s'agit ainsi de mettre en place un moyen d'allouer des ressources de calcul, d'ordonnancer les diffĂ©rentes tĂąches et d'effectuer dynamiquement des couplages entre les diffĂ©rents codes, impliquant une standardisation des structures de donnĂ©es et des transferts des donnĂ©es entre les codes. Les points clĂ©s ici consistent en la mise au point d'une structure de donnĂ©es commune Ă l'ensemble du projet et l'adaptation d'un moteur de worklow et d'outils de visualisation pour la simulation de cĆur et de bord. Cette seconde partie du projet s'attache essentiellement Ă fournir les moyens nĂ©cessaires Ă la formation d'une communautĂ© d'utilisateur des codes intĂ©grĂ©s Ă la plate-forme et, Ă plus long terme, Ă fournir un ensemble d'outils interopĂ©rables au sein d'une communautĂ©.
Consortium
Le consortium EUFORIA implique les 14 institutions européennes suivantes :
- Allemagne Institut de technologie de Karlsruhe (KIT)[2].
- Allemagne Institut Max-Planck de physique des plasmas[3].
- Ăcosse UniversitĂ© d'Ădimbourg[4].
- Espagne Centro Nacional de SupercomputaciĂłn [5].
- Espagne CIEMAT (es)[6].
- Espagne Conseil supérieur de la recherche scientifique (CSIC)[7].
- Finlande Académie d'à bo[8].
- Finlande CSC - Centre de technologie de l'information pour la science[9].
- France Commissariat Ă l'Ă©nergie atomique et aux Ă©nergies alternatives[10].
- France Université de Strasbourg [11].
- Italie Agenzia nazionale per le nuove tecnologie, l'energia e lo sviluppo economico sostenibile[12].
- Pologne PoznaĆskie Centrum Superkomputerowo-Sieciowe (pl)[13].
- Slovénie Université de Ljubljana[14].
- SuĂšde Ăcole polytechnique Chalmers[15].
Structure du projet
Le projet EUFORIA a été structuré en un ensemble de tùches réseau, services et activités de recherche collaboratives en suivant l'organisation générale ci-dessous :
Networking Activities (réseau)
- NA1 â Gestion
- NA2 â Documentation utilisateur et formations
- NA3 â Dissemination
Service Activities (services) â DĂ©ploiement et gestion opĂ©rationnelle de l'infrastructure
- SA1 â Infrastructure de grille de calcul
- SA2 â Infrastructure de calcul haute performance infrastructure
- SA3 â Assistance utilisateurs pour le calcul haute performance et les grilles de calcul
Joint Research Activities (Activités de recherche collaboratives)
- JRA1 â Adaptation des codes et des outils Ă la grille de calcul
- JRA2 â Adaptation of codes et des outils Ă l'infrastructure de calcul haute performance
- JRA3 â IntĂ©gration des codes de physique et des outils de pilotage du workflow.
- JRA4 â Visualisation
Network Activities (NA)
Activité NA1 : gestion du projet
NA1 prend en charge l'assistance à l'administration et la gestion du consortium dans son ensemble. En particulier, NA1 coordonne les différentes activités de recherche et les services. L'accent a été porté sur la mise en place de la communication entre ces deux activités afin de s'assurer que l'ensemble des projets sont bien intégrés au consortium. Cela relÚve tout particuliÚrement de la responsabilité de NA1.
Les liens avec les autres projets (ou initiatives) internationaux dans le domaine de la grille de calcul ou du calcul haute performance et les rattachements à la communauté de la fusion seront envisagés.
Le management se rapprochera des détenteurs et utilisateurs des codes de la communauté fusion dans le but de mettre à disposition davantage de ressources informatiques se basant sur les codes adaptés dans le cadre du projet EUFORIA. De nouvelles sources de financements seront étudiées, par exemple des fonds de l'Union européenne et des pays signataires du projet de consortium.
Au fur et à mesure de l'avancement du projet et de l'intégration croissante des différentes activités le composant, il sera nécessaire de porter l'effort de travail sur les activités transversales entre les différentes JRA et les développements conjoint entre les différentes activités de recherche et de service. Afin d'atteindre les buts du projet, une coordination efficace sera nécessaire. En particulier, un des buts de la coordination entre les activités de dissémination et de formation aux utilisateurs est de permettre à des personnes nouvellement formés de se comporter en vecteurs de dissémination dans leurs propres communautés. Cela est essentiel pour rendre disponible largement les outils d'Euforia dans les communautés utilisateurs et développeurs de codes de fusion.
Enfin, pour harmoniser le développement de l'infrastructure informatique et les besoins en modélisation du projet ITER et maintenir le contact avec les participants du projet Iter (développement de codes et modélisation), il a été décidé de mettre en place une équipe de coordination, dotée d'un appui technologique fort, au sein du comité de pilotage.
Objectifs de NA1
- Prendre en charge l'administration et la gestion de l'ensemble du consortium
- Assurer la coordination globale entre (et au sein de) les activités de recherche et de Service
- Coordonner les efforts de diffusion de NA3 et de documentation/formation aux utilisateurs de NA2
- Coordonner les activités avec EGEE, DEISA, ICEAGE et BELIEF[16] à partir des financements déjà existants
- Réfléchir aux liens avec d'autres projets européens de calcul réparti ou haute performance
- Chercher d'autres sources de financements en prenant contact avec des décideurs ou des hommes politiques
La rĂ©ussite de la gestion du projet se traduit par la performance du projet dans son ensemble et peut ĂȘtre obtenue par une veille permanente, un passage en revue des Ă©tapes et des choix au sein des tĂąches ainsi qu'une mesure continue (assesment) des progrĂšs rĂ©alisĂ©s et le cas Ă©chĂ©ant la mise en place de mesures correctives.
Activité NA2 : Documentation et formation utilisateur
NA2 rédige la documentation et organise les formations pour les utilisateurs, afin de leur permettre d'utiliser les infrastructures de calcul haute performance et de Grille de calcul. Cette activité comporte un programme de formations conçu pour permettre aux utilisateurs d'acquérir les connaissances et la pratique de l'utilisation de l'infrastructure. De plus, le projet fournira un ensemble complet de documentations, y compris des guides utilisateurs et des Foires aux questions.
Objectifs de NA2
- Ăcrire des documents, des FAQ et des conseils d'utilisation aux utilisateurs de la Grille de calcul ou du calcul haute performance
- Mettre en place un programme de formation complet pour les développeurs et les utilisateurs, en particulier un guide d'utilisation.
Activité NA3 : Diffusion
La diffusion consistera principalement Ă identifier et proposer une image fidĂšle du projet ainsi que de son utilisation par des utilisateurs potentiels. Dans le mĂȘme temps, cette image doit ĂȘtre attrayante en mettant en avant les avantages tirĂ©s du rapprochement des communautĂ©s DEISA, EGEE et EUFORIA (grille de calcul et calcul haute performance). La diffusion jouera Ă©galement un rĂŽle clĂ© en permettant aux utilisateurs potentiels d'assister Ă des prĂ©sentations lors d'Ă©vĂšnements scientifiques. Ces prĂ©sentations seront fondamentales Ă l'initiation de ces utilisateurs aux outils dĂ©veloppĂ©s dans le projet. On attend que la diffusion donne une image gĂ©nĂ©rale du projet.
La plupart des utilisateurs, développeurs et des communautés scientifiques auront leur premier contact avec le projet EUFORIA à travers l'activité de diffusion. L'élargissement du projet à d'autres communautés d'utilisateurs dépendra de la qualité et de l'efficacité des actions menées pour augmenter sa visibilité.
Objectifs de NA3
- Diffuser les objectifs et les bénéfices de la grille de calcul et du calcul haute performance dans le domaine de la fusion, ainsi que les avantages à rejoindre ou utiliser l'infrastructure du projet EUFORIA.
- Définir les méthodes de diffusion et le contenu des messages pour atteindre chaque communauté.
- Fournir du matériel de diffusion adapté aux publics visés et les rendre accessibles
- Informer les communautés scientifiques sur comment s'impliquer dans le projet
- Apporter directement des utilisateurs potentiels pour qu'il puissent devenir des utilisateurs EUFORIA
- Garder les communautés informées des améliorations et des nouvelles fonctionnalités.
Service Activities (SA)
Activité SA1 : Déploiement et exploitation de l'infrastructure de grille
L'objectif de cette activité est de fournir une infrastructure de grille de calcul avancée pour le calcul scientifique, dans le but de développer les activités de fusion dans l'Espace européen de la recherche. Le projet intégrera des ressources de calcul distribué à l'intérieur d'un service de grille cohérent permettant aux chercheurs de s'attaquer à de nouveaux défis scientifiques. L'activité d'exploitation de l'infrastructure de grille a pour but de déployer, maintenir et exploiter cette grande infrastructure de grilles distribuées.
Objectifs de SA1
- Déployer, maintenir et exploiter les services centraux nécessaires à l'intégration de ressources de calcul dans une infrastructure de grille capable d'accueillir des applications séquentielles et parallÚles
- Coordonner le déploiement la maintenance et l'exploitation des ressources fournies par les sites participants en garantissant un service robuste, sécurisé et fiable
- Fournir une assistance aux "Virtual Organizations (VO)" et aux fournisseurs de ressources pour aider les utilisateurs finaux.
- Fournir une assistance aux responsables de VO et aux responsables de site pour qu'ils atteignent leurs objectifs et contribuer Ă la bonne utilisation de l'infrastructure
Le contexte de cette activitĂ© repose sur la consolidation d'une grille de recherche traversant l'Europe. L'infrastructure sera compatible avec les services du middleware EGEE, ce qui contribuera Ă la standardisation et la consolidation des eâInfrastructures en Europe. Pour atteindre ces objectifs, le projet suivra les recommandations d'organismes internationaux tels que l'eâIRG (e-Infrastructure Reflection Group) et l'Open Grid Forum.
Activité SA2 : Infrastructure HPC
Les dĂ©veloppeurs de code appartenant au groupe JRA2 se concentrent sur l'optimisation des codes utilisĂ©s par les communautĂ©s des plasmas et de la fusion. Pour que ce travail d'optimisation se dĂ©roule correctement, les dĂ©veloppeurs de codes et les scientifiques doivent avoir accĂšs Ă des moyens de calculs adaptĂ©s pour tester, debugger et faire tourner ces codes. De plus, les tests de faisabilitĂ© ainsi que les vrais exĂ©cutions de production par les scientifiques eux-mĂȘmes, nĂ©cessiteront des accĂšs Ă ces moyens de calcul haute performance.
Le principal objectif de SA2 est donc de sĂ©curiser l'accĂšs des dĂ©veloppeurs de codes et des scientifiques aux moyens de calcul haute performance et aux services clients des diffĂ©rents centres de calcul. (Il s'agit, du CSC Ă Helsinki, du BSC Ă Barcelone et du EPCC Ă Ădimbourg).
Objectifs de SA2
- Fournir une assistance Ă l'effort d'optimisation de code du groupe JRA2
- Fournir un accÚs aux moyens de calcul haute performance pour effectuer les tests de faisabilité avec les codes parallÚles appartenant à la plate-forme
Activité SA3 : Assistance des utilisateurs pour les activités de calcul haute performance et de grille
SA3 fournira aux utilisateurs scientifiques, avec les moyens d'enseignement appropriés, des formations concernant l'utilisation des infrastructures HPC et de grille. Ces formations seront rapides et efficaces. Il n'y aura qu'une seule interface pour les utilisateurs, fournissant un guichet unique qui permet d'exploiter l'ensemble des compétences des différentes institutions partenaires. Cela concernera l'enregistrement des utilisateurs; gestion des ressources et des comptes; et un unique help desk (bureau d'assistance) pour tous les utilisateurs. Cette activité soutient beaucoup d'autres activités, telles que JRA1, JRA2, JRA3 et JRA4.
Objectifs de SA3
- Fournir, Ă travers une seule interface utilisateur, l'administration des utilisateurs, la gestion des ressources, la gestion des comptes, l'Ă©dition de rapports et un helpdesk central pour les utilisateurs de ce service.
- Fournir une assistance, sur un large panel d'applications, au portage et Ă l'optimisation initiales de leurs applications sur l'infrastructure d'EUFORIA
Joint Research Activities (JRA)
Activité JRA1: Adaptation des codes à l'infrastructure de grille
Dans JRA1, un ensemble de codes modĂ©lisant le plasma de cĆur et de bord seront adaptĂ©s Ă l'architecture de la grille informatique. L'objectif principal est d'explorer les possibilitĂ©s qu'offrent l'architecture de grille Ă la recherche dans le domaine de la fusion, en commençant avec un sous-ensemble de codes sĂ©lectionnĂ©s parmi un Ă©ventail de codes de transport et de turbulence de cĆur et de bord. Un ensemble de codes seront adaptĂ©s dans un premier temps et un workflow utilisant deux codes sera installĂ© sur la grille dans un deuxiĂšme temps. La liaison entre les workflow sĂ©quentiels et parallĂšles sera une fonctionnalitĂ© dĂ©terminante pour la fusion nuclĂ©aire dans le futur. Une attention particuliĂšre y sera donc portĂ©e. Les leçons tirĂ©s du portage des codes et de la gestion des donnĂ©es serviront aux futures simulations et expĂ©riences de fusion.
Objectifs de JRA1
- Porter un ensemble de codes séquentielles dans un environnement de grille avec au moins quelques codes mixtes séquentiels-parallÚles
- Acquérir de l'expérience dans l'exécution de codes et de gestion des données à l'intérieur d'un environnement de work flow.
Activité JRA2 : Adaptation des codes pour l'infrastructure de calcul haute performance
Dans JRA2, un ensemble de codes incontournables dans les domaines de la physique des plasmas et de la fusion par confinement magnĂ©tique seront portĂ©s sur les supercalculateurs de centres de calculs participants au projet. L'objectif est d'accĂ©lĂ©rer l'exĂ©cution des programmes et de les rendre capable d'utiliser un grand nombre de processeurs pour rĂ©soudre des problĂšmes de plus grande taille. Les capacitĂ©s de modĂ©lisation seront mise en avant par rapport au full-scale modelling##. Les codes seront conçus pour tirer parti par les calculateurs actuels de l'ordre du TeraFlops de mĂȘme que ceux de demain qui seront de l'ordre du PetaFlops. Dans le mĂȘme temps, ils pourront ĂȘtre exĂ©cutĂ©s en tant que composant dans un environnement de workflow.
Objectifs de JRA2
- Améliorer le passage à l'échelle des codes
- Optimiser leur performances sur les architectures de processeurs modernes
- Adapter les codes de telle sorte qu'ils s'intĂšgrent dans un outil d'orchestration de workflow
Activité JRA3 : Orchestration de workflow
Le couplage des différents modules de calcul nécessite une grande coordination et une gestion efficace des données et de l'ordonnancement des ressources. Une orchestration de workflow facilite grandement le processus d'intégration et fournit un cadre structuré pour effectuer des tùches supplémentaires telles que le contrÎle de suivi et le pilotage de simulation. Cela fournit également un point d'entrée pour un accÚs standardisé aux données et aux outils de post-traitement des utilisateurs.
Objectif de JRA3
- Gérer ensemble les différentes tùches sur les infrastructures de grille et de calcul haute performance à l'aide d'un outil d'orchestration de workflow, capable de lier entre eux et d'exécuter automatiquement les différents modules installés.
- Développer une interface utilisateur unique pour l'administration des utilisateurs, questions des utilisateurs, gestion des ressources, gestion des comptes et des rapports. Cette interface répondra aux besoins de l'activité SA3 qui est chargé de la gestion de ces aspects.
Activité JRA4 : Visualisation
L'objectif de JRA4 est de fournir un ensemble d'outils de visualisation unifiés pour les codes intégrés à la plate-forme. Certains de ces outils permettront d'effectuer des post-traitements sur les données générées par les codes, d'autres seront intégrés au workflow directement dans Kepler[17] pour permettre la visualisation et le suivi des résultats durant l'exécution du workflow. Les outils de visualisation développés dans JRA4 seront basés sur des logiciels libres existants tel que Python, numpy et matplotlib d'une part, et VTK et VisIt d'autre part.
Objectifs de JRA4
- Fournir un ensemble d'outils de visualisation unifiés disponibles dans Kepler[17] pour visualiser à distance des données stockés sur la grille
- Implanter des outils de visualisation plus puissants qui puissent ĂȘtre utilisĂ©s pour traiter les donnĂ©es gĂ©nĂ©rĂ©es
- Mettre au point un nouvel outil de compression avec perte dans le but de prendre en compte la grande masse de données générée par certains codes.
- Développer des outils de spécifiques pour visualiser de fonctions de distribution de particules 4D ou 5D.
Notes et références
- « SeptiÚme programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (7e PC) » , sur cordis.europa.eu, (consulté le )
- (de) « Karlsruher Institut fĂŒr Technologie », sur kit.edu (consultĂ© le )
- (de) « Max-Planck-Institut fĂŒr Plasmaphysik », sur ipp.mpg.de (consultĂ© le )
- (en) « THE UNIVERSITY OF EDINBURGH », sur ed.ac.uk (consulté le )
- (en) « Barcelona Supercomputing Center », sur bsc.es (consulté le )
- (es) « Centro de Investigaciones Energéticas, Medioambientales y Tecnológicas », sur ciemat.es (consulté le )
- (en) « Consejo Superior de Investigaciones CientĂficas », sur csic.es (consultĂ© le )
- (fi) « à bo Akademin », sur abo.fi (consulté le )
- (fi) « CSC â TIETEEN TIETOTEKNIIKAN », sur csc.fi (consultĂ© le )
- « Commissariat à l'énergie atomique et aux énergies alternatives », sur cea.fr (consulté le )
- « Université de Strasbourg », sur unistra.fr (consulté le )
- (it) « Agenzia nazionale per le nuove tecnologie, l'energia e lo sviluppo economico sostenibile », sur enea.it (consulté le )
- (pl) « PoznaĆskie Centrum SuperkomputerowoâSieciowe », sur psnc.pl (consultĂ© le )
- (sl) « Laboratorij za konstruiranje - LECAD », sur lecad.fs.uni-lj.si (consulté le )
- (en) « CHALMERS UNIVERSITY OF TECHNOLOGY », sur chalmers.se (consulté le )
- BELIEF
- Kepler