Worldlex Wiki La fonction LogSumExp (LSE) (également appelée RealSoftMax ou softplus multivariable ) est un maximum lisse – une approximation lisse de la fonction maximale , principalement utilisée par les algorithmes d'apprentissage automatique . Elle est définie comme le logarithme de la somme des exponentielles des arguments :
Propriétés
Le domaine de la fonction LogSumExp est , l' espace de coordonnées réel , et son codomaine est , la droite réelle . C'est une approximation du maximum avec les bornes suivantes La première inégalité est stricte sauf si . La deuxième inégalité est stricte sauf si tous les arguments sont égaux. (Preuve : Soit . Alors . L'application du logarithme à l'inégalité donne le résultat.)
De plus, nous pouvons mettre à l'échelle la fonction pour rendre les limites plus serrées. Considérons la fonction . Alors (Preuve : Remplacez chacun par pour certains dans les inégalités ci-dessus, pour donner et, puisque finalement, la division par donne le résultat.)
De plus, si nous multiplions par un nombre négatif, nous trouvons bien sûr une comparaison avec la fonction :
La fonction LogSumExp est convexe et strictement croissante partout dans son domaine de définition. Elle n'est pas strictement convexe, car elle est affine (linéaire plus une constante) sur les droites diagonales et parallèles :
En dehors de cette direction, elle est strictement convexe (le Hessien a un rang ), donc par exemple, la restriction à un hyperplan transversal à la diagonale donne une fonction strictement convexe. Voir , ci-dessous.
L'écriture des dérivées partielles est : ce qui signifie que le gradient de LogSumExp est la fonction softmax .
Le conjugué convexe de LogSumExp est l' entropie négative .
Astuce log-sum-exp pour les calculs de domaine logarithmique
La fonction LSE est souvent rencontrée lorsque les calculs arithmétiques habituels sont effectués sur une échelle logarithmique , comme dans la probabilité logarithmique .
De la même manière que les opérations de multiplication à l'échelle linéaire deviennent de simples additions à l'échelle logarithmique, une opération d'addition à l'échelle linéaire devient l'opération LSE à l'échelle logarithmique :
Malheureusement, l'utilisation directe de LSE dans ce cas peut à nouveau entraîner des problèmes de dépassement/sous-dépassement. Par conséquent, l'équivalent suivant doit être utilisé à la place (en particulier lorsque la précision de l'approximation « max » ci-dessus n'est pas suffisante).
De nombreuses bibliothèques mathématiques telles que IT++ fournissent une routine par défaut de LSE et utilisent cette formule en interne.
Une fonction de type log-sum-exp strictement convexe
LSE est convexe mais pas strictement convexe. Nous pouvons définir une fonction de type log-sum-exp strictement convexe en ajoutant un argument supplémentaire mis à zéro :
Dans l'analyse tropicale , il s'agit de la somme dans le semi-anneau logarithmique .