Fonction d'activation

{\displaystyle f </span referrerpolicy=

est saturant si

{\displaystyle \lim _{|v| o \infty }| abla f(v)|=0 <semantics><mrow><mstyle><munder><mo>limite</mo><mrow><mrow><mo>|</mo></mrow><mi>v</mi><mrow><mo>|</mo></mrow><mo>→</mo><mi>∞</mi></mrow></munder><mrow><mo>|</mo></mrow><mi>∇</mi><mi>f</mi><mo>(</mo><mi>v</mi><mo>)</mo><mrow><mo>|</mo></mrow><mo>=</mo><mn>0</mn></mstyle></mrow><annotation>{\displaystyle \lim _{|v| o \infty }| abla f(v)|=0}</annotation></semantics></math></span><img src=

non saturant si

{\displaystyle \lim _{|v| o \infty }| abla f(v)| eq 0 <semantics><mrow><mstyle><munder><mo>limite</mo><mrow><mrow><mo>|</mo></mrow><mi>v</mi><mrow><mo>|</mo></mrow><mo>→</mo><mi>∞</mi></mrow></munder><mrow><mo>|</mo></mrow><mi>∇</mi><mi>f</mi><mo>(</mo><mi>v</mi><mo>)</mo><mrow><mo>|</mo></mrow><mo>≠</mo><mn>0</mn></mstyle></mrow><annotation>{\displaystyle \lim _{|v| o \infty }| abla f(v)| eq 0}</annotation></semantics></math></span><img src=

fonctions d'activation de crête

{\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} </span referrerpolicy=

Activation de ReLU :

{\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} ) <semantics><mrow><mstyle><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><mo>max</mo><mo>(</mo><mn>0</mn><mo>,</mo><mi>un</mi><mo>+</mo><msup><mrow><mi>v</mi></mrow><mo>′</mo></msup><mrow><mi>b</mi></mrow><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}</annotation></semantics></math></span><img src=

Activation de Heaviside :

0 ϕ (v) = 1_{un + v^{'} b > 0}

0 ,

Activation logistique :

{\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1 <semantics><mrow><mstyle><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><mo>(</mo><mn>1</mn><mo>+</mo><mi>exp</mi><mo>⁡</mo><mo>(</mo><mo>−</mo><mi>un</mi><mo>−</mo><msup><mrow><mi>v</mi></mrow><mo>′</mo></msup><mrow><mi>b</mi></mrow><mo>)</mo><msup><mo>)</mo><mrow><mo>−</mo><mn>1</mn></mrow></msup></mstyle></mrow><annotation>{\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}</annotation></semantics></math></span><img src=

Dans les réseaux neuronaux bio-inspirés , la fonction d'activation est généralement une abstraction représentant la fréquence de décharge des potentiels d'action dans la cellule. Dans sa forme la plus simple, cette fonction est binaire : soit le neurone est actif, soit il ne l'est pas.

Les neurones ne peuvent pas non plus décharger plus rapidement qu'une certaine fréquence. Cette limitation biologique justifie l'utilisation de fonctions d'activation sigmoïdes, dont la plage de sortie est limitée à un intervalle fini.

La fonction ressemble à ${\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} ) <semantics><mrow><mstyle><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><mi>U</mi><mo>(</mo><mi>un</mi><mo>+</mo><msup><mrow><mi>v</mi></mrow><mo>′</mo></msup><mrow><mi>b</mi></mrow><mo>)</mo></mstyle></mrow><annotation>{\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}</annotation></semantics></math><img src=$ ${\displaystyle U <semantics><mrow><mstyle><mi>U</mi></mstyle></mrow><annotation>{\displaystyle U}</annotation></semantics></math><img src=$

En revanche, si une droite a une pente positive , elle peut refléter l'augmentation de la fréquence de décharge qui se produit lorsque le courant d'entrée augmente. Une telle fonction aurait la forme suivante : ${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} <semantics><mrow><mstyle><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><mi>un</mi><mo>+</mo><msup><mrow><mi>v</mi></mrow><mo>′</mo></msup><mrow><mi>b</mi></mrow></mstyle></mrow><annotation>{\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }</annotation></semantics></math><img src=$

Fonctions d'activation radiale

{\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}} ight) </span referrerpolicy=

Multiquadratiques :

{\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2 <semantics><mrow><mstyle><mspace></mspace><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><mrow><msqrt><mo>‖</mo><mrow><mi>v</mi></mrow><mo>−</mo><mrow><mi>c</mi></mrow><msup><mo>‖</mo><mrow><mn>2</mn></mrow></msup><mo>+</mo><msup><mi>un</mi><mrow><mn>2</mn></mrow></msup></msqrt></mrow></mstyle></mrow><annotation>{\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}</annotation></semantics></math></span><img src=

Multiquadratiques inverses :

{\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2} ight)^{-{\frac {1}{2 <semantics><mrow><mstyle><mspace></mspace><mi>ϕ</mi><mo>(</mo><mrow><mi>v</mi></mrow><mo>)</mo><mo>=</mo><msup><mrow><mo>(</mo><mrow><mo>‖</mo><mrow><mi>v</mi></mrow><mo>−</mo><mrow><mi>c</mi></mrow><msup><mo>‖</mo><mrow><mn>2</mn></mrow></msup><mo>+</mo><msup><mi>un</mi><mrow><mn>2</mn></mrow></msup></mrow><mo>)</mo></mrow><mrow><mo>−</mo><mrow><mfrac><mn>1</mn><mn>2</mn></mfrac></mrow></mrow></msup></mstyle></mrow><annotation>{\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2} ight)^{-{\frac {1}{2}}}}</annotation></semantics></math></span><img src=

Splines polyharmoniques

où ${\displaystyle \mathbf {c} <semantics><mrow><mstyle><mrow><mi>c</mi></mrow></mstyle></mrow><annotation>{\displaystyle \mathbf {c} }</annotation></semantics></math><img src=$ centre de la fonction et ${\displaystyle a <semantics><mrow><mstyle><mi>un</mi></mstyle></mrow><annotation>{\displaystyle a}</annotation></semantics></math><img src=$ ${\displaystyle \sigma <semantics><mrow><mstyle><mi>σ</mi></mstyle></mrow><annotation>{\displaystyle \sigma }</annotation></semantics></math><img src=$

Autres exemples

Les fonctions périodiques peuvent servir de fonctions d'activation. On utilise généralement la sinusoïde , car toute fonction périodique est décomposable en sinusoïdes par la transformée de Fourier .

Cartes d'activation quadratiques ${\displaystyle x\mapsto x^{2 <semantics><mrow><mstyle><mi>x</mi><mo>↦</mo><msup><mi>x</mi><mrow><mn>2</mn></mrow></msup></mstyle></mrow><annotation>{\displaystyle x\mapsto x^{2}}</annotation></semantics></math><img src=$

fonctions d'activation de pliage

de la ou des couches précédentes :

Le tableau suivant répertorie les fonctions d'activation qui ne sont pas des fonctions d'un seul pli Ici, ${\displaystyle \delta _{ij <semantics><mrow><mstyle><msub><mi>δ</mi><mrow><mi>je</mi><mi>j</mi></mrow></msub></mstyle></mrow><annotation>{\displaystyle \delta _{ij}}</annotation></semantics></math><img src=$

^ Par exemple,

{\displaystyle j <semantics><mrow><mstyle><mi>j</mi></mstyle></mrow><annotation>{\displaystyle j}</annotation></semantics></math></span><img src=

{\displaystyle i <semantics><mrow><mstyle><mi>je</mi></mstyle></mrow><annotation>{\displaystyle i}</annotation></semantics></math></span><img src=

Fonctions d'activation quantique

Pour en savoir plus

Kunc, Vladimír ; Kléma, Jiří (14 février 2024), Trois décennies d'activations : une étude exhaustive de 400 fonctions d'activation pour les réseaux de neurones , arXiv : 2402.09092
Nwankpa, Chigozie; Ijomah, Winifred; Gachagan, Anthony; Marshall, Stephen (8 novembre 2018). « Fonctions d’activation : comparaison des tendances dans la pratique et la recherche pour l’apprentissage profond ». arXiv : 1811.03378 [ cs.LG ].
Dubey, Shiv Ram; Singh, Satish Kumar; Chaudhuri, Bidyut Baran (2022). « Fonctions d’activation en apprentissage profond : une étude exhaustive et une analyse comparative » . Neurocomputing . 503. Elsevier BV : 92–108 . arXiv : 2109.14545 . doi : 10.1016/j.neucom.2022.06.111 . ISSN 0925-2312 .

Intelligence artificielle (IA)