Fonction de perte

En optimisation mathématique et en théorie de la décision , une fonction de perte ou fonction de coût (parfois appelée fonction d'erreur) est une fonction qui associe un événement ou les valeurs d'une ou plusieurs variables à un nombre réel représentant intuitivement un « coût » lié à cet événement. Un problème d'optimisation vise à minimiser une fonction de perte. Une fonction objectif est soit une fonction de perte, soit son contraire (appelé, dans certains domaines, fonction de récompense , fonction de profit , fonction d' utilité , fonction d'évaluation , etc.), auquel cas elle doit être maximisée. La fonction de perte peut inclure des termes issus de différents niveaux de la hiérarchie l'estimation des paramètres , et l'événement en question est une fonction de la différence entre les valeurs estimées et les valeurs réelles d'un ensemble de données. Ce concept, aussi ancien que Laplace , a été réintroduit en statistique par Abraham Wald au milieu du XXe siècle . En économie , par exemple, il s'agit généralement du coût économique ou du regret . En classification , c'est la pénalité infligée pour une classification incorrecte d'un exemple. En actuariat , il est utilisé dans le secteur des assurances pour modéliser les prestations versées en fonction des primes, notamment depuis les travaux d' Harald Cramér dans les années 1920 . En contrôle optimal , la perte est la pénalité infligée pour ne pas atteindre une valeur désirée. En gestion des risques financiers , la fonction est assimilée à une perte monétaire.

Leonard J. Savage a soutenu que, dans le cadre de méthodes non bayésiennes telles que le minimax , la fonction de perte devrait être basée sur l'idée de regret , c'est-à-dire que la perte associée à une décision devrait être la différence entre les conséquences de la meilleure décision qui aurait pu être prise dans des circonstances connues et la décision qui a été effectivement prise avant que ces circonstances ne soient connues.

Fonction de perte quadratique

L'utilisation d'une fonction de perte quadratique est courante, notamment avec les techniques des moindres carrés . Elle est souvent plus facile à manipuler mathématiquement que d'autres fonctions de perte grâce aux propriétés des variances et à sa symétrie : une erreur supérieure à la cible entraîne la même perte qu'une erreur de même amplitude inférieure à la cible. Si la cible est $, alors une fonction de perte quadratique est$

pour une certaine constante $; la valeur de la constante ne change rien à la décision et peut être ignorée en la fixant à 1. Ceci est également connu sous le nom de perte d'erreur quadratique (SEL).$

De nombreuses statistiques courantes , notamment les tests t , les modèles de régression , la conception d'expériences et bien d'autres, utilisent des méthodes des moindres carrés appliquées à l'aide de la théorie de la régression linéaire , qui est basée sur la fonction de perte quadratique.

La fonction de perte quadratique est également utilisée dans les problèmes de commande optimale linéaire-quadratique . Dans ces problèmes, même en l'absence d'incertitude, il peut être impossible d'atteindre les valeurs souhaitées de toutes les variables cibles. Souvent, la perte est exprimée sous forme quadratique en fonction des écarts des variables d'intérêt par rapport à leurs valeurs cibles ; cette approche est simple car elle conduit à des conditions linéaires du premier ordre . Dans le contexte de la commande stochastique , on utilise l'espérance de la forme quadratique. La perte quadratique, de par sa nature carrée, accorde plus d'importance aux valeurs aberrantes qu'aux données réelles ; c'est pourquoi des alternatives comme les pertes de Huber , log-cosh et SMAE sont utilisées lorsque les données comportent de nombreuses valeurs aberrantes importantes.

Effet de l'utilisation de différentes fonctions de perte lorsque les données contiennent des valeurs aberrantes

Fonction de perte 0-1

En statistique et en théorie de la décision , la fonction de perte 0-1 est fréquemment utilisée.

En théorie de l'information , cette fonction de perte est connue sous le nom de distorsion de Hamming .

Construction des fonctions de perte et des fonctions objectives

d'utilité ) sous une forme adaptée à l'optimisation – problème que Ragnar Frisch a mis en lumière lors de sa conférence Nobel . Les méthodes existantes de construction de fonctions objectives sont rassemblées dans les actes de deux conférences dédiées. En particulier, Andranik Tangian a montré que les fonctions objectives les plus utilisables – quadratiques et additives – sont déterminées par quelques points d'indifférence . Il a utilisé cette propriété dans les modèles de construction de ces fonctions objectives à partir de données ordinales ou cardinales recueillies par le biais d'entretiens assistés par ordinateur avec des décideurs. Il a notamment construit des fonctions objectives pour répartir de manière optimale les budgets de 16 universités westphaliennes et les subventions européennes destinées à l'égalisation des taux de chômage entre 271 régions allemandes.

Perte attendue

Statistiques

La théorie statistique fréquentiste et la théorie statistique bayésienne impliquent toutes deux une prise de décision basée sur la valeur attendue de la fonction de perte ; cependant, cette quantité est définie différemment selon les deux paradigmes.

perte attendue par les fréquentistes

Nous définissons d'abord la perte espérée dans le contexte fréquentiste. Elle est obtenue en prenant l'espérance par rapport à la distribution de probabilité , $, des données observées, On parle également de fonction de risque de la règle de décision et le paramètre Ici, la règle de décision dépend du résultat de La fonction de risque est donnée par :$

Ici, $est un état de la nature fixe mais potentiellement inconnu, est un vecteur d'observations tirées stochastiquement d'une population, est l'espérance sur toutes les valeurs de la population de, est une mesure de probabilité sur l'espace des événements de (paramétré par) et l'intégrale est évaluée sur l'ensemble du support de .$

Risque bayésien

Dans une approche bayésienne, l'espérance est calculée à l'aide de la distribution a priori. $du paramètre :$

où $est connue sous le nom de probabilité prédictive dans laquelle a été «intégrée», est la distribution a posteriori, et l'ordre d'intégration a été modifié. Il faut alors choisir l'action ce qui minimise cette perte attendue, appelée risque bayésien . Dans cette dernière équation, l'intégrande à l'intérieur est connu sous le nom de risque postérieur, et sa minimisation par rapport à la décision minimise également le risque bayésien global. Cette décision optimale, elle est connue sous le nom de règle de Bayes (ou règle de décision) - elle minimise la perte moyenne sur tous les états de la nature possibles, sur l'ensemble des résultats de données possibles (pondérés par les probabilités). L'un des avantages de l'approche bayésienne est qu'il suffit de choisir l'action optimale compte tenu des données observées pour obtenir une action uniformément optimale, alors que le choix de la règle de décision fréquentiste optimale en fonction de toutes les observations possibles est un problème beaucoup plus complexe. De même, la règle de Bayes prend en compte les pertes potentielles dans différents états de la nature. .$

Exemples en statistiques

Pour un paramètre scalaire $, une fonction de décision dont la sortie est une estimation de et une fonction de perte quadratique (perte d'erreur au carré) la fonction de risque devient l' erreur quadratique moyenne de l'estimation, Un estimateur obtenu en minimisant l' erreur quadratique moyenne estime la moyenne de la distribution a posteriori .$
En estimation de densité , le paramètre inconnu est la densité de probabilité elle-même. La fonction de perte est généralement choisie comme une norme dans un espace fonctionnel approprié . Par exemple, pour $norme$ , $la fonction de risque devient l' erreur quadratique moyenne intégrée$

Choix économique en situation d'incertitude

En économie, la prise de décision en situation d'incertitude est souvent modélisée à l'aide de la fonction d'utilité de von Neumann-Morgenstern de la variable incertaine étudiée, telle que le patrimoine en fin de période. La valeur de cette variable étant incertaine, la valeur de la fonction d'utilité l'est également ; c'est l'espérance de l'utilité qui est maximisée.

Règles de décision

Une règle de décision effectue un choix en fonction d'un critère d'optimalité. Voici quelques critères couramment utilisés :

Minimax : Choisir la règle de décision avec la perte maximale la plus faible, c'est-à-dire minimiser la perte maximale possible :
Invariance : Choisissez la règle de décision qui satisfait une exigence d'invariance.
Choisissez la règle de décision qui minimise la perte moyenne (c'est-à-dire, minimisez la valeur attendue de la fonction de perte) :

Sélection d'une fonction de perte

Une pratique statistique rigoureuse exige le choix d'un estimateur cohérent avec la variation acceptable réellement observée dans le contexte d'un problème appliqué particulier. Ainsi, lors de l'utilisation pratique des fonctions de perte, le choix de la méthode statistique à employer pour modéliser un problème appliqué dépend de la connaissance des pertes qui résulteraient d'une erreur dans les circonstances particulières du problème.

Un exemple courant concerne l'estimation de la position . Sous des hypothèses statistiques classiques, la moyenne est la statistique d'estimation de la position qui minimise la perte attendue selon la fonction de perte quadratique , tandis que la médiane est l'estimateur qui minimise la perte attendue selon la fonction de perte de différence absolue. D'autres estimateurs encore seraient optimaux dans des circonstances moins fréquentes.

En économie, lorsqu'un agent est neutre face au risque , la fonction objectif s'exprime simplement par l'espérance d'une grandeur monétaire, telle que le profit, le revenu ou le patrimoine en fin de période. Pour les agents averses au risque ou enclins au risque , la perte est mesurée par l'opposé d'une fonction d'utilité , et la fonction objectif à optimiser est l'espérance de cette utilité.

D’autres mesures de coût sont possibles, par exemple la mortalité ou la morbidité dans le domaine de la santé publique ou de l’ingénierie de la sécurité .

Pour la plupart des algorithmes d'optimisation , il est souhaitable d'avoir une fonction de perte globalement continue et différentiable .

Deux fonctions de perte très couramment utilisées sont la perte au carré , $et la perte absolue Cependant, la perte absolue présente l'inconvénient de ne pas être différentiable à La perte au carré présente l'inconvénient d'être fortement influencée par les valeurs aberrantes — lorsqu'on somme sur un ensemble de's (comme dans), la somme finale résulte généralement de quelques valeurs particulièrement élevées. -valeurs, plutôt qu'une expression de la moyenne -valeur.$

Le choix d'une fonction de perte n'est pas arbitraire. Il est très contraignant et la fonction de perte peut parfois être caractérisée par ses propriétés souhaitables. Parmi les principes de choix figurent, par exemple, l'exigence de complétude de la classe des statistiques symétriques dans le cas d' observations iid , le principe d'information complète, et d'autres encore.

W. Edwards Deming et Nassim Nicholas Taleb affirment que la réalité empirique, et non de simples propriétés mathématiques, devrait être le seul critère de sélection des fonctions de perte. En effet, les pertes réelles sont souvent complexes d'un point de vue mathématique et ne sont ni différentiables, ni continues, ni symétriques, etc. Par exemple, une personne arrivant avant la fermeture de la porte d'embarquement peut encore prendre l'avion, contrairement à une personne arrivant après. Cette discontinuité et cette asymétrie rendent l'arrivée légèrement en retard beaucoup plus coûteuse que l'arrivée légèrement en avance. En matière de dosage médicamenteux, le coût d'une dose insuffisante peut se traduire par un manque d'efficacité, tandis que le coût d'une dose excessive peut entraîner une toxicité acceptable, un autre exemple d'asymétrie. La circulation, les canalisations, les poutres, les écosystèmes, les climats, etc., peuvent supporter une augmentation de charge ou de contrainte sans changement notable jusqu'à un certain point, puis se retrouver bloqués ou subir une rupture catastrophique. Ces situations, selon Deming et Taleb, sont fréquentes dans les problèmes concrets, peut-être même plus fréquentes que les cas classiques de fonctions différentielles lisses, continues, symétriques.