Estimation du maximum de vraisemblance

statistique , l'estimation du maximum de vraisemblance ( EMV ) est une méthode d' estimation des paramètres d'une distribution de probabilité supposée , à partir de données observées. Elle consiste à maximiser une fonction de vraisemblance afin que, sous le modèle statistique supposé , les données observées soient les plus probables. Le point de l' espace des paramètres qui maximise la fonction de vraisemblance est appelé l'estimateur du maximum de vraisemblance. La logique du maximum de vraisemblance est à la fois intuitive et flexible, ce qui explique que cette méthode soit devenue un outil dominant d' inférence statistique .

Si la fonction de vraisemblance est différentiable , le test de la dérivée pour la recherche des maxima peut être appliqué. Dans certains cas, les conditions du premier ordre de la fonction de vraisemblance peuvent être résolues analytiquement ; par exemple, l’ estimateur des moindres carrés ordinaires pour un modèle de régression linéaire maximise la vraisemblance lorsque les erreurs aléatoires sont supposées suivre des lois normales de même variance.

Du point de vue de l'inférence bayésienne , l'estimateur du maximum de vraisemblance ( EMV) est généralement équivalent à l'estimation du maximum a posteriori (MAP) avec une distribution a priori uniforme dans la région d'intérêt. En inférence fréquentiste , l'EMV est un cas particulier d' estimateur d'extremum , la fonction objectif étant la vraisemblance.

échantillon aléatoire issu d'une distribution de probabilité conjointe inconnue , exprimée en fonction d'un ensemble de paramètres . L'objectif de l'estimation du maximum de vraisemblance est de déterminer les paramètres pour lesquels les données observées ont la plus grande probabilité conjointe. Nous représentons les paramètres régissant la distribution conjointe sous forme de vecteur.

Propriétés

Un estimateur du maximum de vraisemblance est un estimateur extremum obtenu en maximisant, en fonction de θ , la fonction objectif $Si les données sont indépendantes et identiquement distribuées, alors nous avons ceci étant l'analogue empirique de la log-vraisemblance attendue, où cette espérance est calculée par rapport à la densité réelle.$

Les estimateurs du maximum de vraisemblance ne présentent pas de propriétés optimales pour les échantillons finis, dans le sens où (lorsqu'ils sont évalués sur des échantillons finis) d'autres estimateurs peuvent présenter une plus grande concentration autour de la valeur réelle du paramètre. Cependant, comme d'autres méthodes d'estimation, l'estimation du maximum de vraisemblance possède un certain nombre de propriétés asymptotiques intéressantes : lorsque la taille de l'échantillon tend vers l'infini, les suites d'estimateurs du maximum de vraisemblance présentent les propriétés suivantes :

Cohérence : la suite des estimateurs du maximum de vraisemblance converge en probabilité vers la valeur estimée.
Équivariance : Si $est l'estimateur du maximum de vraisemblance pour et si est une transformation bijective de, alors l'estimateur du maximum de vraisemblance pour est La propriété d'équivariance peut être généralisée aux transformations non bijectives, bien qu'elle s'applique dans ce cas au maximum d'une fonction de vraisemblance induite qui n'est pas la vraie vraisemblance en général.$
L'efficacité , c'est-à-dire l'atteinte de la borne inférieure de Cramér-Rao lorsque la taille de l'échantillon tend vers l'infini, signifie qu'aucun estimateur convergent n'a une erreur quadratique moyenne asymptotique inférieure à celle de l'estimateur du maximum de vraisemblance (ou d'autres estimateurs atteignant cette borne). Cela signifie également que l'estimateur du maximum de vraisemblance suit une loi normale asymptotique .
Efficacité du second ordre après correction du biais.

Cohérence

Dans les conditions décrites ci-dessous, l'estimateur du maximum de vraisemblance est convergent . La convergence signifie que si les données étaient générées par $et si nous disposons d'un nombre suffisamment grand d'observations n, alors il est possible de trouver la valeur de θ₀ avec une précision arbitraire. Mathématiquement, cela signifie que lorsque n tend vers l'infini, l'estimateur converge en probabilité vers sa valeur réelle :$

Sous des conditions légèrement plus fortes, l'estimateur converge presque sûrement (ou fortement ) :

Dans les applications pratiques, les données ne sont jamais générées par $. Plutôt, Un estimateur est un modèle, souvent idéalisé, du processus généré par les données. En statistique, il est communément admis que tous les modèles sont faux . Ainsi, la convergence parfaite n'est pas garantie dans les applications pratiques. Néanmoins, la convergence est souvent considérée comme une propriété souhaitable pour un estimateur.$

Pour établir la cohérence, les conditions suivantes sont suffisantes.

Identification du modèle :

La condition de dominance peut être utilisée dans le cas d' observations iid . Dans le cas non-iid, la convergence uniforme en probabilité peut être vérifiée en montrant que la séquence $est stochastiquement équicontinue .$

Si l'on souhaite démontrer que l'estimateur ML $si converge vers θ 0 presque sûrement, alors une condition plus forte de convergence uniforme presque sûrement doit être imposée :$

De plus, si (comme supposé ci-dessus) les données étaient générées par $, alors, sous certaines conditions, on peut également montrer que l’estimateur du maximum de vraisemblance converge en distribution vers une distribution normale. Plus précisément, où matrice d'information de Fisher .$

Invariance fonctionnelle

L'estimateur du maximum de vraisemblance sélectionne la valeur du paramètre qui maximise la probabilité (ou la densité de probabilité, dans le cas continu) des données observées. Si le paramètre comporte plusieurs composantes, on définit leurs estimateurs du maximum de vraisemblance respectifs, correspondant aux composantes de l'estimateur du maximum de vraisemblance du paramètre complet. En conséquence, si $est le MLE pour et si est toute transformation de, puis l'estimateur du maximum de vraisemblance pour est par définition$

Elle maximise ce qu'on appelle la vraisemblance du profil :

L'estimateur du maximum de vraisemblance est également équivariant par rapport à certaines transformations des données. $où Si la relation est bijective et ne dépend pas des paramètres à estimer, alors les fonctions de densité satisfont$

et donc les fonctions de vraisemblance pour $et ne diffèrent que par un facteur qui ne dépend pas des paramètres du modèle.$

Par exemple, les paramètres d'estimation du maximum de vraisemblance (EMV) de la distribution log-normale sont identiques à ceux de la distribution normale ajustée au logarithme des données. En fait, dans le cas log-normal, si $0 y > 0$

Efficacité

Comme supposé ci-dessus, si les données étaient générées par $Sous certaines conditions, on peut également démontrer que l'estimateur du maximum de vraisemblance converge en distribution vers une distribution normale. Il est borne de Cramér-Rao . Plus précisément,$

$où est la matrice d'information de Fisher :$

En particulier, cela signifie que le biais de l'estimateur du maximum de vraisemblance est égal à zéro jusqu'à l'ordre 1 / √ n .

Efficacité du second ordre après correction du biais

Cependant, lorsque nous considérons les termes d'ordre supérieur dans le développement de la distribution de cet estimateur, il s'avère que

où $(avec exposants) désigne la composante (j,k)-ième de la matrice d'information de Fisher inverse, et$

À l'aide de ces formules, il est possible d'estimer le biais du second ordre de l'estimateur du maximum de vraisemblance et de corriger ce biais en le soustrayant : $Cet estimateur est sans biais jusqu'aux termes d'ordre ⁠ 1 / n ⁠, et est appelé estimateur du maximum de vraisemblance corrigé du biais . estimateur bayésien le plus probable étant donné une distribution a priori uniforme sur les paramètres . En effet, l' estimation du maximum a posteriori est le paramètre$

où $est la distribution a priori du paramètre est la probabilité des données moyennée sur tous les paramètres. Puisque le dénominateur est indépendant de par rapport à Si la distribution est uniforme, l'estimateur bayésien est obtenu en maximisant la fonction de vraisemblance. L'estimateur bayésien coïncide donc avec l'estimateur du maximum de vraisemblance pour une distribution a priori uniforme. .$

Application de l'estimation du maximum de vraisemblance à la théorie de la décision bayésienne

Dans de nombreuses applications pratiques d' apprentissage automatique , l'estimation du maximum de vraisemblance est utilisée comme modèle d'estimation des paramètres.

La théorie de la décision bayésienne consiste à concevoir un classificateur qui minimise le risque total attendu, en particulier, lorsque les coûts (la fonction de perte) associés aux différentes décisions sont égaux, le classificateur minimise l'erreur sur l'ensemble de la distribution.

Ainsi, la règle de décision de Bayes s'énonce comme suit :

"décider

\;\operatorname {\mathbb {P} } (w_{2}|x)~;~ P (w_{1} | x) > P (w_{2} | x);

où $sont des prédictions de différentes classes. Dans une perspective de minimisation des erreurs, on peut également affirmer que où si nous décidons et si nous décidons$

En appliquant le théorème de Bayes $et si l'on suppose en outre une fonction de perte binaire (0 ou 1), c'est-à-dire une perte identique pour toutes les erreurs, la règle de décision de Bayes peut être reformulée comme suit : où est la prédiction et est la probabilité a priori .$

Lien avec la minimisation de la divergence de Kullback-Leibler et de l'entropie croisée

Trouver $qui maximise la vraisemblance est asymptotiquement équivalent à trouver le qui définit une distribution de probabilité () qui présente une distance minimale, en termes de divergence de Kullback-Leibler, à la distribution de probabilité réelle à partir de laquelle nos données ont été générées (c'est-à-dire générées par [ et Q sont identiques (et la seule inconnue est qui définit P), même si ce n'est pas le cas et que le modèle utilisé est mal spécifié, l'estimateur du maximum de vraisemblance (EMV) nous donnera tout de même la distribution la plus proche (dans la limite d'un modèle Q qui dépend de) à la distribution réelle .$

Preuve.
Par souci de simplicité, supposons que P=Q. Soit n échantillons de données i.i.d. $d'une certaine probabilité, que nous essayons d'estimer en trouvant qui maximisera la probabilité d'utilisation, alors:$ Où $L'utilisation de h permet de comprendre comment nous utilisons la loi des grands nombres pour passer de la moyenne de h (x) à son espérance, en appliquant la loi du statisticien inconscient . Les premières transitions sont liées aux lois des logarithmes et à cette découverte. La fonction qui maximise une certaine fonction sera également celle qui maximise une transformation monotone de cette fonction (c'est-à-dire : ajouter/multiplier par une constante).$ Puisque l'entropie croisée est simplement l'entropie de Shannon plus la divergence KL, et puisque l'entropie de $si est constant, alors l'estimateur du maximum de vraisemblance minimise également asymptotiquement l'entropie croisée.$

Biais de prédiction

Les estimations du maximum de vraisemblance des paramètres peuvent être substituées dans les expressions de la fonction de densité de probabilité , de la fonction de répartition ou de la fonction quantile afin de générer des prédictions de probabilités ou de quantiles d'événements hors échantillon. Cette méthode de prédiction des probabilités est recommandée dans les manuels de statistique et d'actuariat et est largement utilisée dans la littérature scientifique. Cependant, la prédiction par maximum de vraisemblance ne parvient pas à propager l'incertitude entourant les estimations des paramètres dans la prédiction . Par conséquent, les probabilités prédites sont mal calibrées et ne doivent pas être considérées comme correspondant aux fréquences des événements hors échantillon. En particulier, les probabilités et les quantiles de dépassement de queue sont généralement sous-estimés, parfois de manière significative. La sous-estimation est maximale lorsque les données d'apprentissage sont peu nombreuses, que de nombreux paramètres sont estimés et pour les valeurs extrêmes de la queue de distribution. Dans les cas où ce biais de prédiction pose problème, les prédictions bayésiennes peuvent apporter une solution si la distribution a priori est choisie de manière à réduire ou à éliminer le biais.

Exemples

distribution uniforme discrète

distribution uniforme ) ; la taille de l'échantillon est donc de 1. Si n est inconnu, alors l'estimateur du maximum de vraisemblance

La vraisemblance de n est le nombre m figurant sur le billet tiré. (La vraisemblance est nulle pour n < m, égale à 1 / n pour n \geq m, et maximale lorsque n = m . Notez que l'estimation du maximum de vraisemblance de n se situe à l'extrémité inférieure de l'intervalle des valeurs possibles {m, m + 1, ...}, plutôt qu'au « milieu » de cet intervalle, ce qui réduirait le biais.) L' espérance du nombre m figurant sur le billet tiré, et donc l'espérance de, est (n + 1)/2. En conséquence, avec une taille d'échantillon de 1, l'estimateur du maximum de vraisemblance pour n sous-estimera systématiquement n de (n - 1)/2.

Distribution discrète, espace paramétrique fini

Supposons que l'on souhaite déterminer le degré de biais d'une pièce truquée . Appelons p la probabilité d'obtenir « pile » . L'objectif est alors de déterminer p .

Supposons que la pièce soit lancée 80 fois : c'est-à-dire que l'échantillon pourrait être quelque chose comme x ₁ = P, x ₂ = F, ..., x ₈₀ = F, et le nombre de faces « P » est observé.

La probabilité d'obtenir pile est de 1 − p (où p est égal à θ ). Supposons que le résultat soit de 49 faces et 31 piles , et que la pièce ait été tirée d'une boîte contenant trois pièces : une qui donne face avec une probabilité p = 1/3 , une autre avec une probabilité p = 1/2 et la dernière avec une probabilité p = 2/3 . Les étiquettes des pièces ont disparu , on ignore donc laquelle a été tirée . En utilisant l' estimation du maximum de vraisemblance, on peut déterminer la pièce ayant la plus grande vraisemblance, compte tenu des données observées. En utilisant la fonction de masse de probabilité de la loi binomiale avec un échantillon de taille 80 et un nombre de succès égal à 49, mais pour différentes valeurs de p (la « probabilité de succès »), la fonction de vraisemblance (définie ci-dessous) prend l'une des trois valeurs suivantes :

La vraisemblance est maximisée lorsque

et la maximisation porte sur toutes les valeurs possibles

Fonction de vraisemblance pour la valeur de proportion d'un processus binomial (

Variables non indépendantes

Il se peut que les variables soient corrélées, ou plus généralement, non indépendantes. Deux variables aléatoires $et ne sont indépendantes que si leur fonction de densité de probabilité conjointe est le produit des fonctions de densité de probabilité individuelles, c'est-à-dire$

Supposons que l'on construise un vecteur gaussien d'ordre n à partir de variables aléatoires. $, où chaque variable a des moyennes données par De plus, soit la matrice de covariance notée par La fonction de densité de probabilité conjointe de ces n variables aléatoires suit alors une loi normale multivariée donnée par :$

Dans le cas bivarié , la fonction de densité de probabilité conjointe est donnée par :

Dans ce cas et dans d'autres cas où une fonction de densité conjointe existe, la fonction de vraisemblance est définie comme ci-dessus, dans la section « principes », en utilisant cette densité.

Exemple

$Les nombres sont comptabilisés dans les cellules/cases de 1 à m ; chaque case a une probabilité différente (imaginez des cases plus grandes ou plus petites) et nous fixons le nombre de boules qui tombent à : La probabilité de chaque boîte est, avec une contrainte : Il s'agit d'un cas dans lequel Les vecteurs ne sont pas indépendants, la probabilité conjointe d'un vecteur est appelé le multinomial et a la forme :$

Chaque case prise séparément par rapport à toutes les autres cases forme un binôme, et ceci en est une extension.

La log-vraisemblance de ceci est :

Il faut tenir compte de la contrainte et utiliser les multiplicateurs de Lagrange :

En posant toutes les dérivées égales à 0, on obtient l'estimation la plus naturelle.

La maximisation de la log-vraisemblance, avec ou sans contraintes, peut être un problème insoluble sous forme fermée ; il faut alors utiliser des procédures itératives.

Procédures itératives

Sauf cas particuliers, les équations de vraisemblance

ne peut être résolu explicitement pour un estimateur $. Au lieu de cela, elles doivent être résolues de manière itérative : en partant d'une estimation initiale de (dire), on cherche à obtenir une suite convergente De nombreuses méthodes existent pour résoudre ce type de problème d'optimisation, mais les plus couramment utilisées sont des algorithmes basés sur une formule de mise à jour de la forme suivante :$

où le vecteur $indique la direction de descente de la r ème « étape », et le scalaire capture la « longueur de pas », également connue sous le nom de taux d'apprentissage .$

méthode de descente de gradient

(Remarque : il s'agit ici d'un problème de maximisation, donc le signe devant le gradient est inversé)

$qui est suffisamment petit pour que la convergence et$

La méthode de descente de gradient nécessite le calcul du gradient à la r -ième itération, mais n'a pas besoin de calculer l'inverse de la dérivée seconde, c'est-à-dire la matrice hessienne. Par conséquent, elle est plus rapide en termes de calcul que la méthode de Newton - Raphson.

Méthode de Newton-Raphson

$et$

où $est le score et est l' inverse de la matrice hessienne de la fonction de log-vraisemblance, toutes deux évaluées à la r -ième itération. Cependant, le calcul de la matrice hessienne étant coûteux en ressources de calcul, de nombreuses alternatives ont été proposées. L' algorithme de Berndt-Hall-Hall-Hausman, largement utilisé , approxime la matrice hessienne par le produit extérieur du gradient attendu, de sorte que$

Méthodes quasi-Newton

D'autres méthodes quasi-Newton utilisent des mises à jour sécantes plus élaborées pour donner une approximation de la matrice hessienne.

Formule de Davidon–Fletcher–Powell

La formule DFP trouve une solution symétrique, définie positive et la plus proche de la valeur approximative actuelle de la dérivée seconde :

où

Algorithme de Broyden-Fletcher-Goldfarb-Shanno

BFGS donne également une solution symétrique et définie positive :

où

La convergence de la méthode BFGS n'est garantie que si la fonction admet un développement de Taylor quadratique au voisinage d'un optimum. Cependant, BFGS peut offrir des performances acceptables même pour des instances d'optimisation non lisses.

Le score de Fisher

Une autre méthode courante consiste à remplacer la matrice hessienne par la matrice d'information de Fisher . $, ce qui nous donne l'algorithme de score de Fisher. Cette procédure est standard dans l'estimation de nombreuses méthodes, telles que les modèles linéaires généralisés .$

Bien que populaires, les méthodes quasi-Newton peuvent converger vers un point stationnaire qui n'est pas nécessairement un maximum local ou global , mais plutôt un minimum local ou un point selle . Il est donc important d'évaluer la validité de la solution obtenue aux équations de vraisemblance, en vérifiant que la matrice hessienne, évaluée en la solution, est à la fois définie négative et bien conditionnée .

Histoire

Parmi les premiers utilisateurs de la méthode du maximum de vraisemblance figurent Carl Friedrich Gauss , Pierre-Simon Laplace , Thorvald N. Thiele et Francis Ysidro Edgeworth . Cependant, c'est Ronald Fisher qui, entre 1912 et 1922, a créé à lui seul la version moderne de la méthode.

L'estimation du maximum de vraisemblance a finalement dépassé le stade de la justification heuristique grâce à une démonstration publiée par Samuel S. Wilks en 1938, désormais connue sous le nom de théorème de Wilks . Ce théorème montre que l'erreur sur le logarithme des valeurs de vraisemblance pour les estimations issues de plusieurs observations indépendantes suit asymptotiquement une loi ^du χ² , ce qui permet de déterminer aisément un intervalle de confiance autour de toute estimation des paramètres. La seule difficulté de la démonstration de Wilks réside dans l'espérance de la matrice d'information de Fisher , donnée par un théorème démontré par Fisher . Wilks a continué à améliorer la généralité du théorème tout au long de sa vie, sa démonstration la plus générale étant publiée en 1962

Plusieurs auteurs ont présenté des synthèses sur le développement de l'estimation du maximum de vraisemblance.