Extensions de matrice avancées

Les extensions de matrice avancées ( AMX ), également connues sous le nom d' Intel Advanced Matrix Extensions ( Intel AMX ), sont des extensions de l' architecture de jeu d'instructions x86 (ISA) pour les microprocesseurs d' Intel, conçues à l'origine pour fonctionner sur des matrices afin d'accélérer les charges de travail d'intelligence artificielle (IA) et d' apprentissage automatique (ML). Elles peuvent également être appliquées aux problèmes de routage optimal , aux problèmes de graphes, à l'optimisation et autres.

Extensions

AMX a été introduit par Intel en juin 2020 et pris en charge pour la première fois par Intel avec la microarchitecture Sapphire Rapids pour les serveurs Xeon , sortie en janvier 2023. des registres bidimensionnels appelés tuiles sur lesquels les accélérateurs peuvent effectuer des opérations. Il est conçu comme une architecture extensible ; le premier accélérateur implémenté est appelé unité de multiplication de matrice de tuiles (TMUL).

Dans la révision 46 d'Intel Architecture Instruction Set Extensions and Future Features, publiée en septembre 2022, une nouvelle extension AMX-FP16 a été documentée. Cette extension ajoute la prise en charge des nombres à virgule flottante en demi-précision . Dans la révision 48 de mars 2023, AMX-COMPLEX a été documenté, ajoutant la prise en charge des nombres complexes à virgule flottante en demi-précision . Les deux extensions sont disponibles dans l' ensemble de processeurs de serveur Granite Rapids (la prise en charge d'AMX-COMPLEX n'étant disponible que dans Granite Rapids-D ).

Unité de multiplication de matrice de tuiles

L'unité TMUL prend en charge les types d'entrée BF16 et INT8 . AMX-FP16 et AMX-COMPLEX ajoutent également la prise en charge des nombres FP16 réels et complexes . Le fichier de registre se compose de 8 tuiles, chacune avec 16 lignes de taille de 64 octets (32 éléments BF16/FP16 ou 64 éléments INT8). La seule opération prise en charge est la multiplication de matrices ${ extstyle C_{nm}+=\sum _{j=1}^{J}A_{nj}B_{jm}. <semantics> <mrow> <mstyle> <msub> <mi>C</mi> <mrow> <mi>n</mi> <mi>m</mi> </mrow> </msub> <mo>+</mo> <mo>=</mo> <munderover> <mo>∑</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>J</mi> </mrow> </munderover> <msub> <mi>UN</mi> <mrow> <mi>n</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>B</mi> <mrow> <mi>j</mi> <mi>m</mi> </mrow> </msub> <mo>.</mo> </mstyle> </mrow> <annotation>{ extstyle C_{nm}+=\sum _{j=1}^{J}A_{nj}B_{jm}.}</annotation> </semantics> </math><img src=$

Le processeur Intel Xeon Scalable de 4e génération peut effectuer 2048 opérations INT8 ou 1024 opérations BF16 par cycle : les tailles d'entrée maximales sont pour A et pour B , où J est 64 pour INT8 et 32 pour BF16. La multiplication de matrice nécessite des multiplications et des additions, ce qui permet d'effectuer des opérations en 16 cycles. ${ extstyle 16 imes J <semantics> <mrow> <mstyle> <mn>16</mn> <mo>×</mo> <mi>J</mi> </mstyle> </mrow> <annotation>{ extstyle 16\fois J}</annotation> </semantics> </math><img src=$ ${ extstyle J imes 16 <semantics> <mrow> <mstyle> <mi>J</mi> <mo>×</mo> <mn>16</mn> </mstyle> </mrow> <annotation>{ extstyle J\fois 16}</annotation> </semantics> </math><img src=$ ${ extstyle 256J <semantics> <mrow> <mstyle> <mn>256</mn> <mi>J</mi> </mstyle> </mrow> <annotation>{ extstyle 256J}</annotation> </semantics> </math><img src=$ ${ extstyle 256J <semantics> <mrow> <mstyle> <mn>256</mn> <mi>J</mi> </mstyle> </mrow> <annotation>{ extstyle 256J}</annotation> </semantics> </math><img src=$ ${ extstyle 512J <semantics> <mrow> <mstyle> <mn>512</mn> <mi>J</mi> </mstyle> </mrow> <annotation>{ extstyle 512J}</annotation> </semantics> </math><img src=$

Support logiciel

Prise en charge du compilateur et de l'assembleur
- LLVM 13
- CCG 11
- Prise en charge initiale de GNU Assembler (GAS) engagée le 25 juin 2020
Prise en charge du système d'exploitation
- Prise en charge de glibc pour la détection de la fonctionnalité AMX dans les processeurs validée le 25 juin 2020
- Prise en charge du noyau Linux depuis la version 5.16
- Prise en charge de VMware vSphere pour AMX dans les machines virtuelles publiées dans la version ESXi 8.0u1 pour les machines virtuelles utilisant la version matérielle 20