Traitement des données in-situ

L'objectif principal de cette formation est de comprendre le fonctionnement des modèles de visualisation in-situ et de prendre en main un ensemble d'outils permettant leur mise en œuvre. Le cours prend la forme d'une série de TP, clôturé par un mini-projet (application des apprentissages du TP). Nous utiliserons en particulier le logiciel Paraview et la bibliothèque Catalyst. Le mini-projet consistera en la mise en œuvre d'une instrumentation in situ sur un système gravitationnel corpusculaire (un système stellaire en l’occurrence). Si le temps le permet, nous essaierons également d'instrumenter un code de simulation de tokamak (évolution du plasma au sein d'un réacteur à fusion nucléaire).

C++, Python, OpenMP, MPI

Les technologies utilisées seront Python, C++, Paraview et Catalyst (un peu de parallélisme OpenMP+MPI). Les TPs se baseront sur des exemples simples afin de bien appréhender la logique de structuration des données propre à Catalyst et les techniques de génération de code de visualisation Paraview-Python. Une deuxième partie des TPs portera sur l'utilisation de la visualisation in-situ avec données distribuées. Le mini-projet permettra une mise en application des précédentes séances de TP dans un code de simulation existant.

L'ère de l'ExaScale creusera encore plus l'écart entre la vitesse de génération des données de simulations et la vitesse d'écriture et de lecture pour analyser ces données en post-traitement. Le temps jusqu'à la mise à disposition des résultats sera donc grandement impacté et de nouvelles techniques de traitement des données doivent être mises en place. Les méthodes in-situ réduisent le besoin d'écrire des données en les analysants directement là où elles sont produites. Il existe plusieurs techniques, en exécutant les analyses sur les mêmes nœuds de calcul que la simulation (in-situ), en utilisant des nœuds dédiés (in-transit) ou en combinant les deux approches (hybride). La plupart des méthodes in-situ ciblent les simulations qui ne sont pas capables de tirer profit à 100% du nombre croissant de cœurs par processeur.
Le module se focalisera sur la visualisation de données in-situ dans le cadre d'une application scientifique.