Interface de passage de messages

L' interface de passage de messages ( MPI ) est une norme de communication par messages portable conçue pour fonctionner sur des architectures de calcul parallèle . La norme MPI définit la syntaxe et la sémantique des routines de bibliothèque utiles à un large éventail d'utilisateurs développant des programmes portables de communication par messages en C , C++ et Fortran . Plusieurs implémentations MPI open source ont favorisé l'essor d'une industrie du logiciel parallèle et encouragé le développement d'applications parallèles portables et évolutives à grande échelle.

Le projet MPI a mobilisé environ 80 personnes issues de 40 organisations, principalement aux États-Unis et en Europe. La plupart des grands fournisseurs de supercalculateurs ont participé à ce projet, en collaboration avec des chercheurs d'universités, de laboratoires gouvernementaux et d'entreprises .

MPI fournit aux fabricants de matériel parallèle un ensemble de routines de base clairement défini et facilement implémentable. Ils peuvent ainsi s'appuyer sur cet ensemble de routines standard de bas niveau pour créer des routines de plus haut niveau destinées à l'environnement de communication à mémoire distribuée de leurs machines parallèles . MPI offre une interface portable et conviviale pour les utilisateurs novices, tout en étant suffisamment puissante pour permettre aux programmeurs d'exploiter les opérations de passage de messages hautes performances disponibles sur les machines avancées.

Afin de créer une norme universelle pour la communication par messages, les chercheurs ne se sont pas basés sur un système unique, mais ont intégré les fonctionnalités les plus utiles de plusieurs systèmes, notamment ceux conçus par IBM, Intel , nCUBE , PVM , Express, P4 et PARMACS. Le paradigme de la communication par messages est attrayant de par sa grande portabilité et peut être utilisé pour la communication entre multiprocesseurs à mémoire distribuée et à mémoire partagée, réseaux de stations de travail et configurations hybrides. Ce paradigme est applicable dans de nombreux contextes, indépendamment de la vitesse du réseau ou de l'architecture mémoire.

Le soutien aux réunions du MPI a été assuré en partie par la DARPA et par la National Science Foundation (NSF) des États-Unis dans le cadre de la subvention ASC-9310330, de l'accord de coopération du NSF Science and Technology Center numéro CCR-8809615, et par la Commission européenne à travers le projet Esprit P6643. L' Université du Tennessee a également apporté une contribution financière au Forum du MPI.

Au cours des années suivantes, la norme MPI a évolué à travers de multiples révisions majeures et mineures, chacune introduisant de nouvelles fonctionnalités et des améliorations. Par exemple, MPI-3.0 a introduit les opérations collectives non bloquantes, des améliorations de la communication unilatérale et des liaisons de langage mises à jour ; MPI-4.0 a ajouté des routines de grand nombre d’opérations, des opérations collectives persistantes et des méthodes d’initialisation raffinées ; et MPI-5.0 a introduit une interface binaire d’application (ABI) standardisée afin d’améliorer l’interopérabilité entre les implémentations.

MPI est un protocole de communication pour la programmation d'ordinateurs parallèles . Il prend en charge la communication point à point et la communication collective. MPI « est une interface de programmation d'applications par passage de messages, accompagnée de spécifications de protocole et sémantiques décrivant le comportement de ses fonctionnalités dans toute implémentation » . Les objectifs de MPI sont la haute performance, l'évolutivité et la portabilité. En 2006, MPI restait le modèle dominant dans le calcul haute performance

Les objectifs de cette norme incluent la haute performance, l'évolutivité et la portabilité sur différentes architectures de calcul parallèle. Bien qu'elle ne soit pas régie par un organisme international de normalisation officiel, MPI est largement considérée comme une norme de facto pour l'échange de messages dans les applications de calcul haute performance.

MPI n'est reconnu par aucun organisme de normalisation majeur ; néanmoins, il est devenu un standard de facto pour la communication entre processus modélisant un programme parallèle s'exécutant sur un système à mémoire distribuée . Les supercalculateurs à mémoire distribuée, tels que les clusters de calcul, exécutent fréquemment de tels programmes.

Le modèle MPI-1 principal ne comporte pas de concept de mémoire partagée , et MPI-2 n'en propose qu'un concept limité , basé sur la mémoire partagée distribuée . Néanmoins, les programmes MPI sont couramment exécutés sur des ordinateurs à mémoire partagée, et MPICH comme Open MPI peuvent utiliser la mémoire partagée pour le transfert de messages lorsqu'elle est disponible. Concevoir des programmes autour du modèle MPI (contrairement aux modèles à mémoire partagée explicite ) présente des avantages lors de l'exécution sur des architectures NUMA , car MPI favorise la localité de la mémoire . La programmation explicite en mémoire partagée a été introduite dans MPI-3.

Bien que MPI appartienne aux couches 5 et supérieures du modèle de référence OSI , les implémentations peuvent couvrir la plupart des couches, avec des sockets et le protocole de contrôle de transmission (TCP) utilisés dans la couche transport.

La plupart des implémentations MPI consistent en un ensemble spécifique de routines directement appelables depuis C , C++ , Fortran (via une API) et tout langage capable d'interagir avec de telles bibliothèques, notamment C# , Java ou Python . Les avantages de MPI par rapport aux anciennes bibliothèques de passage de messages sont sa portabilité (car MPI a été implémenté pour presque toutes les architectures à mémoire distribuée) et sa rapidité (chaque implémentation étant optimisée pour le matériel sur lequel elle s'exécute).

MPI utilise des spécifications indépendantes du langage (LIS) pour les appels et les liaisons de langage. La première norme MPI spécifiait les liaisons ANSI C et Fortran 77 ainsi que les LIS. Le projet a été présenté à Supercomputing 1994 (novembre 1994) et finalisé peu après. Environ 128 fonctions constituent la norme MPI-1.3, publiée en 2008 comme dernière version de la série MPI-1.

C , ISO C++ et Fortran 90. L’interopérabilité des objets a également été ajoutée pour faciliter la programmation multilingue par communication par messages. La normalisation de MPI-2, achevée en 1996, a eu pour effet secondaire de clarifier la norme MPI-1, donnant naissance à MPI-1.2.

MPI-2 est en grande partie un sur-ensemble de MPI-1, bien que certaines fonctions soient obsolètes. Les programmes MPI-1.3 restent compatibles avec les implémentations MPI conformes à la norme MPI-2.

MPI-3.0 introduit des mises à jour importantes de la norme MPI, notamment des versions non bloquantes des opérations collectives, des améliorations des opérations unilatérales et une interface pour Fortran 2008. Il supprime les interfaces C++ obsolètes ainsi que diverses routines et objets obsolètes. Point important : tout programme MPI-2.2 valide qui évite les éléments supprimés reste valide avec MPI-3.0.

MPI-3.1 est une mise à jour mineure axée sur des corrections et des clarifications, notamment pour les liaisons Fortran. Elle introduit de nouvelles fonctions de manipulation application binary interface. This allows for increased interoperability of MPI libraries from different MPI vendors, as well as increased performance in containerized environments.

MPI is often compared with Parallel Virtual Machine (PVM), which was a popular distributed environment and message-passing system developed in 1989, and which was one of the systems that motivated the need for standard parallel message passing. Threaded shared-memory programming models (such as Pthreads and OpenMP) and message-passing programming (MPI/PVM) can be considered complementary and have been used together on occasion in, for example, servers with multiple large shared-memory nodes.

MPI offre plusieurs fonctionnalités. Les concepts suivants permettent de comprendre ces fonctionnalités et aident le programmeur à choisir celles à utiliser dans ses applications. Quatre des huit concepts fondamentaux de MPI sont spécifiques à MPI-2.

• La première implémentation de la norme MPI 1.x fut MPICH , développée par le Laboratoire national d'Argonne (ANL) et l'Université d'État du Mississippi . IBM fut également l'un des premiers à l'implémenter, et la plupart des entreprises de supercalculateurs du début des années 1990 commercialisèrent MPICH ou développèrent leur propre implémentation. LAM/MPI, du Centre de supercalculateurs de l'Ohio, fut une autre implémentation ouverte pionnière. L'ANL a continué à développer MPICH pendant plus d'une décennie et propose désormais MPICH-4.3.0, implémentant la norme MPI-4.1.
• Open MPI (à ne pas confondre avec OpenMP ) a été formé par la fusion de FT-MPI, LA-MPI, LAM/MPI et PACX-MPI, et se trouve dans de nombreux supercalculateurs TOP-500 .

De nombreux autres projets sont dérivés de MPICH, LAM et d'autres travaux, y compris, mais sans s'y limiter, les implémentations commerciales de HPE , Intel , Microsoft et NEC .

Bien que les spécifications imposent une interface C et Fortran, le langage utilisé pour implémenter MPI n'est pas contraint de correspondre au(x) langage(s) qu'il prend en charge à l'exécution. La plupart des implémentations combinent C, C++ et assembleur, et ciblent les programmeurs C, C++ et Fortran. Des liaisons sont disponibles pour de nombreux autres langages, notamment Perl, Python, R, Ruby, Java et CL (voir #Liaisons de langages ).

L' ABI des implémentations MPI est globalement répartie entre MPICH et les dérivés d'Open MPI , de sorte qu'une bibliothèque d'une famille peut remplacer directement une autre de la même famille, mais un remplacement direct entre familles est impossible. Le CEA français maintient une interface d'encapsulation pour faciliter ces changements.

Les liaisons sont des bibliothèques qui étendent la prise en charge de MPI à d'autres langages en encapsulant une implémentation MPI existante telle que MPICH ou Open MPI.

Voici un programme « Hello, World! » en MPI écrit en C. Dans cet exemple, nous envoyons un message « hello » à chaque processeur, le manipulons de manière triviale, renvoyons les résultats au processus principal et affichons les messages.

Lorsqu'il est exécuté avec 4 processus, il devrait produire la sortie suivante :

processus , chacun étant une instance indépendante du programme à l'exécution et se voyant attribuer les rangs (identifiants numériques) 0, 1, 2 et 3. Le nom mpiexecest recommandé par la norme MPI, bien que certaines implémentations proposent une commande similaire sous le nom mpirun. MPI_COMM_WORLDest le communicateur regroupant tous les processus.
A single program, multiple data (SPMD) programming model is thereby facilitated, but not required; many MPI implementations allow multiple, different, executables to be started in the same MPI job. Each process has its own rank, the total number of processes in the world, and the ability to communicate between them either with point-to-point (send/receive) communication, or by collective communication among the group. It is enough for MPI to provide an SPMD-style program with MPI_COMM_WORLD, its own rank, and the size of the world to allow algorithms to decide what to do. In more realistic situations, I/O is more carefully managed than in this example. MPI does not stipulate how standard I/O (stdin, stdout, stderr) should work on a given system. It generally works as expected on the rank-0 process, and some implementations also capture and funnel the output from other processes.
MPI uses the notion of process rather than processor. Program copies are mapped to processors by the MPI runtime. In that sense, the parallel machine can map to one physical processor, or to N processors, where N is the number of available processors, or even something in between. For maximum parallel speedup, more physical processors are used. This example adjusts its behavior to the size of the world N, so it also seeks to scale to the runtime configuration without compilation for each size variation, although runtime decisions might vary depending on that absolute amount of concurrency available.

Adoption of MPI-1.2 has been universal, particularly in cluster computing, but acceptance of MPI-2.1 has been more limited. Issues include:

1. MPI-2 implementations include I/O and dynamic process management, and the size of the middleware is substantially larger. Most sites that use batch scheduling systems cannot support dynamic process management. MPI-2's parallel I/O is well accepted.interface binaire d'application (ABI) standard .

   Les architectures évoluent, avec une concurrence interne accrue ( multicœurs ), un contrôle plus précis de la concurrence (threading, affinité) et une hiérarchie mémoire plus étendue . Les programmes multithreadés peuvent tirer parti de ces évolutions plus facilement que les applications monothreadées. Ceci a déjà donné lieu à des normes distinctes et complémentaires pour le multiprocesseur symétrique , notamment OpenMP . MPI-2 définit comment les implémentations conformes à la norme doivent gérer les problématiques multithreadées, mais n'impose pas que les implémentations soient multithreadées, ni même thread-safe. MPI-3 ajoute la possibilité d'utiliser le parallélisme à mémoire partagée au sein d'un nœud. Des implémentations de MPI telles que MPI adaptatif, MPI hybride, MPI à grain fin, MPC et autres proposent des extensions à la norme MPI qui répondent à différents défis liés à MPI.

   L’astrophysicien Jonathan Dursi a publié une tribune qualifiant MPI d’obsolète, citant des technologies plus récentes comme le langage Chapel , Unified Parallel C , Hadoop , Spark et Flink . Parallèlement, la quasi-totalité des projets de l’ Exascale Computing Project s’appuient explicitement sur MPI ; il a été démontré que MPI pouvait s’adapter aux machines les plus puissantes au début des années 2020 et il est largement considéré comme devant rester pertinent pendant longtemps.