Surapprentissage

En modélisation mathématique, le surajustement est « la production d'une analyse qui correspond trop étroitement ou exactement à un ensemble particulier de données, et peut donc ne pas s'adapter à des données supplémentaires ou prédire de manière fiable les observations futures ». Un modèle surajusté est un modèle mathématique qui contient plus de paramètres que ce que les données peuvent justifier. Dans un sens mathématique, ces paramètres représentent le degré d'un polynôme . L'essence du surajustement est d'avoir extrait sans le savoir une partie de la variation résiduelle (c'est-à-dire le bruit ) comme si cette variation représentait la structure sous-jacente du modèle.

Le sous-ajustement se produit lorsqu'un modèle mathématique ne peut pas capturer correctement la structure sous-jacente des données. Un modèle sous-ajusté est un modèle dans lequel certains paramètres ou termes qui apparaîtraient dans un modèle correctement spécifié sont manquants. Le sous-ajustement se produit, par exemple, lors de l'ajustement d'un modèle linéaire à des données non linéaires. Un tel modèle aura tendance à avoir de faibles performances prédictives.

Le risque de sur-ajustement existe parce que le critère utilisé pour sélectionner le modèle n'est pas le même que celui utilisé pour juger de l'adéquation d'un modèle. Par exemple, un modèle peut être sélectionné en maximisant ses performances sur un ensemble de données d'apprentissage , et pourtant son adéquation peut être déterminée par sa capacité à bien fonctionner sur des données non vues ; le sur-ajustement se produit lorsqu'un modèle commence à « mémoriser » des données d'apprentissage plutôt qu'à « apprendre » à généraliser à partir d'une tendance.

À titre d’exemple extrême, si le nombre de paramètres est égal ou supérieur au nombre d’observations, un modèle peut alors parfaitement prédire les données d’apprentissage simplement en mémorisant les données dans leur intégralité. (Pour une illustration, voir la figure 2.) Un tel modèle échouera cependant généralement gravement lorsqu’il fera des prédictions.

Le surajustement est directement lié à l'erreur d'approximation de la classe de fonctions sélectionnée et à l'erreur d'optimisation de la procédure d'optimisation. Une classe de fonctions trop grande, dans un sens approprié, par rapport à la taille de l'ensemble de données est susceptible de surajuster. Même lorsque le modèle ajusté ne comporte pas un nombre excessif de paramètres, il faut s'attendre à ce que la relation ajustée semble moins performante sur un nouvel ensemble de données que sur l'ensemble de données utilisé pour l'ajustement (un phénomène parfois appelé rétrécissement ). En particulier, la valeur du coefficient de détermination diminuera par rapport aux données d'origine.

Pour réduire le risque ou l'ampleur du surapprentissage, plusieurs techniques sont disponibles (par exemple, la comparaison de modèles , la validation croisée , la régularisation , l'arrêt précoce , l'élagage , les priors bayésiens ou l'abandon ). La base de certaines techniques est soit (1) de pénaliser explicitement les modèles trop complexes, soit (2) de tester la capacité du modèle à généraliser en évaluant ses performances sur un ensemble de données non utilisées pour l'apprentissage, qui est censé se rapprocher des données invisibles typiques qu'un modèle rencontrera.

En statistique, une inférence est tirée d'un modèle statistique , qui a été sélectionné via une procédure. Burnham et Anderson, dans leur texte souvent cité sur la sélection de modèles, soutiennent que pour éviter le surajustement, nous devrions adhérer au « principe de parcimonie ». Les auteurs déclarent également ce qui suit.

Les modèles sur-ajustés… sont souvent exempts de biais dans les estimateurs de paramètres, mais présentent des variances d’échantillonnage estimées (et réelles) inutilement élevées (la précision des estimateurs est médiocre par rapport à ce qui aurait pu être accompli avec un modèle plus parcimonieux). Les effets de traitement erronés ont tendance à être identifiés et les variables erronées sont incluses dans les modèles sur-ajustés.… Un modèle de meilleure approximation est obtenu en équilibrant correctement les erreurs de sous-ajustement et de surajustement.

Le surapprentissage est plus susceptible de poser un problème sérieux lorsqu'il existe peu de théorie disponible pour guider l'analyse, en partie parce qu'il y a alors tendance à avoir un grand nombre de modèles parmi lesquels choisir. L'ouvrage Model Selection and Model Averaging (2008) l'explique ainsi.

Étant donné un ensemble de données, vous pouvez ajuster des milliers de modèles en appuyant sur un bouton, mais comment choisir le meilleur ? Avec autant de modèles candidats, le surajustement est un réel danger. Le singe qui a écrit Hamlet est -il vraiment un bon écrivain ?

Dans l'analyse de régression , le surajustement se produit fréquemment. À titre d'exemple extrême, s'il y a p variables dans une régression linéaire avec p points de données, la ligne ajustée peut passer exactement par chaque point. Pour la régression logistique ou les modèles à risques proportionnels de Cox , il existe une variété de règles empiriques (par exemple 5-9, 10 et 10-15 — la ligne directrice de 10 observations par variable indépendante est connue sous le nom de « règle du un sur dix »). Dans le processus de sélection du modèle de régression, l'erreur quadratique moyenne de la fonction de régression aléatoire peut être divisée en bruit aléatoire, biais d'approximation et variance dans l'estimation de la fonction de régression. Le compromis biais-variance est souvent utilisé pour surmonter les modèles de surajustement.

Avec un grand nombre de variables explicatives qui n'ont en réalité aucun rapport avec la variable dépendante prédite, certaines variables seront en général considérées comme statistiquement significatives et le chercheur peut donc les conserver dans le modèle, ce qui entraîne un surajustement du modèle. C'est ce que l'on appelle le paradoxe de Freedman .

En règle générale, un algorithme d'apprentissage est formé à l'aide d'un ensemble de « données d'apprentissage » : des situations exemplaires pour lesquelles le résultat souhaité est connu. L'objectif est que l'algorithme soit également performant dans la prédiction du résultat lorsqu'il est alimenté par des « données de validation » qui n'ont pas été rencontrées lors de son apprentissage.

Le surapprentissage est l'utilisation de modèles ou de procédures qui violent le rasoir d'Occam , par exemple en incluant plus de paramètres ajustables que ce qui est finalement optimal, ou en utilisant une approche plus compliquée que ce qui est finalement optimal. Pour un exemple où il y a trop de paramètres ajustables, considérons un ensemble de données où les données d'apprentissage pour y peuvent être prédites de manière adéquate par une fonction linéaire de deux variables indépendantes. Une telle fonction ne nécessite que trois paramètres (l'intercept et deux pentes). Remplacer cette fonction simple par une nouvelle fonction quadratique plus complexe, ou par une nouvelle fonction linéaire plus complexe sur plus de deux variables indépendantes, comporte un risque : le rasoir d'Occam implique que toute fonction complexe donnée est a priori moins probable que toute fonction simple donnée. Si la nouvelle fonction plus compliquée est sélectionnée à la place de la fonction simple, et s'il n'y a pas eu un gain suffisamment important dans l'ajustement des données d'entraînement pour compenser l'augmentation de la complexité, alors la nouvelle fonction complexe « surajuste » les données et la fonction complexe surajustée aura probablement de moins bons résultats que la fonction plus simple sur les données de validation en dehors de l'ensemble de données d'entraînement, même si la fonction complexe a obtenu d'aussi bons résultats, voire peut-être même de meilleurs résultats, sur l'ensemble de données d'entraînement.

Lors de la comparaison de différents types de modèles, la complexité ne peut pas être mesurée uniquement en comptant le nombre de paramètres présents dans chaque modèle ; l'expressivité de chaque paramètre doit également être prise en compte. Par exemple, il n'est pas trivial de comparer directement la complexité d'un réseau neuronal (qui peut suivre des relations curvilinéaires) avec m paramètres à un modèle de régression avec n paramètres.

Le surapprentissage est particulièrement probable dans les cas où l'apprentissage a été effectué trop longtemps ou lorsque les exemples d'apprentissage sont rares, ce qui oblige l'apprenant à s'adapter à des caractéristiques aléatoires très spécifiques des données d'apprentissage qui n'ont aucune relation causale avec la fonction cible . Dans ce processus de surapprentissage, les performances sur les exemples d'apprentissage continuent d'augmenter tandis que les performances sur les données invisibles se dégradent.

Prenons un exemple simple : prenons une base de données d'achats au détail qui inclut l'article acheté, l'acheteur, ainsi que la date et l'heure de l'achat. Il est facile de construire un modèle qui s'adaptera parfaitement à l'ensemble d'apprentissage en utilisant la date et l'heure de l'achat pour prédire les autres attributs, mais ce modèle ne se généralisera pas du tout à de nouvelles données, car ces moments passés ne se reproduiront plus jamais.

En général, un algorithme d'apprentissage est dit sur-adapté par rapport à un algorithme plus simple s'il est plus précis dans l'ajustement des données connues (rétrospective) mais moins précis dans la prédiction de nouvelles données (prévision). On peut comprendre intuitivement le sur-ajustement à partir du fait que les informations de toutes les expériences passées peuvent être divisées en deux groupes : les informations pertinentes pour l'avenir et les informations non pertinentes (« bruit »). Toutes choses étant égales par ailleurs, plus un critère est difficile à prédire (c'est-à-dire plus son incertitude est élevée), plus il existe de bruit dans les informations passées qui doivent être ignorées. Le problème est de déterminer quelle partie ignorer. Un algorithme d'apprentissage capable de réduire le risque d'ajustement du bruit est appelé « robuste ».

La conséquence la plus évidente du surapprentissage est la mauvaise performance sur l'ensemble de données de validation. D'autres conséquences négatives incluent :

• Une fonction surajustée est susceptible de demander plus d'informations sur chaque élément de l'ensemble de données de validation que la fonction optimale ; la collecte de ces données supplémentaires inutiles peut être coûteuse ou sujette à erreurs, en particulier si chaque élément d'information individuel doit être collecté par observation humaine et saisie manuelle des données.
• Une fonction plus complexe et surajustée est susceptible d'être moins portable qu'une fonction simple. À un extrême, une régression linéaire à une variable est si portable que, si nécessaire, elle pourrait même être effectuée à la main. À l'autre extrême, on trouve des modèles qui ne peuvent être reproduits qu'en dupliquant exactement l'intégralité de la configuration du modélisateur d'origine, ce qui rend la réutilisation ou la reproduction scientifique difficile.
• Il peut être possible de reconstituer les détails des instances de formation individuelles à partir de l'ensemble de formation d'un modèle d'apprentissage automatique sur-ajusté. Cela peut être indésirable si, par exemple, les données de formation incluent des informations personnelles identifiables (PII) sensibles. Ce phénomène pose également des problèmes dans le domaine de l'intelligence artificielle et du droit d'auteur , les développeurs de certains modèles d'apprentissage profond génératif tels que Stable Diffusion et GitHub Copilot étant poursuivis pour violation du droit d'auteur car ces modèles se sont révélés capables de reproduire certains éléments protégés par le droit d'auteur à partir de leurs données de formation.

La fonction optimale doit généralement être vérifiée sur des ensembles de données plus volumineux ou complètement nouveaux. Il existe cependant des méthodes telles que l'arbre couvrant minimal ou la durée de vie de corrélation qui appliquent la dépendance entre les coefficients de corrélation et les séries temporelles (largeur de fenêtre). Chaque fois que la largeur de la fenêtre est suffisamment grande, les coefficients de corrélation sont stables et ne dépendent plus de la taille de la largeur de la fenêtre. Par conséquent, une matrice de corrélation peut être créée en calculant un coefficient de corrélation entre les variables étudiées. Cette matrice peut être représentée topologiquement comme un réseau complexe où les influences directes et indirectes entre les variables sont visualisées.

La régularisation des abandons (suppression aléatoire des données de l'ensemble d'entraînement) peut également améliorer la robustesse et donc réduire le surajustement en supprimant de manière probabiliste les entrées d'une couche.

Le sous-ajustement est l'inverse du sur-ajustement, ce qui signifie que le modèle statistique ou l'algorithme d'apprentissage automatique est trop simpliste pour capturer avec précision les modèles dans les données. Un signe de sous-ajustement est qu'il y a un biais élevé et une faible variance détectés dans le modèle ou l'algorithme actuel utilisé (l'inverse du sur-ajustement : un biais faible et une variance élevée ). Cela peut être déduit du compromis biais-variance , qui est la méthode d'analyse d'un modèle ou d'un algorithme pour l'erreur de biais, l'erreur de variance et l'erreur irréductible. Avec un biais élevé et une faible variance, le résultat du modèle est qu'il représentera de manière inexacte les points de données et ne sera donc pas suffisamment en mesure de prédire les résultats des données futures (voir Erreur de généralisation ). Comme le montre la figure 5, la ligne linéaire ne pouvait pas représenter tous les points de données donnés en raison de la ligne ne ressemblant pas à la courbure des points. Nous nous attendrions à voir une ligne en forme de parabole comme le montrent les figures 6 et 1. Si nous devions utiliser la figure 5 pour l'analyse, nous obtiendrions de faux résultats prédictifs contraires aux résultats si nous analysions la figure 6.

Burnham et Anderson déclarent ce qui suit.

... un modèle sous-ajusté ignorerait une structure importante reproductible (c'est-à-dire conceptuellement reproductible dans la plupart des autres échantillons) dans les données et ne parviendrait donc pas à identifier les effets qui étaient réellement confirmés par les données. Dans ce cas, le biais dans les estimateurs de paramètres est souvent substantiel et la variance d'échantillonnage est sous-estimée, deux facteurs entraînant une mauvaise couverture de l'intervalle de confiance. Les modèles sous-ajustés ont tendance à passer à côté d'effets de traitement importants dans les contextes expérimentaux.

Il existe plusieurs façons de gérer le sous-ajustement :

1. Augmenter la complexité du modèle : si le modèle est trop simple, il peut être nécessaire d'augmenter sa complexité en ajoutant davantage de fonctionnalités, en augmentant le nombre de paramètres ou en utilisant un modèle plus flexible. Cependant, cela doit être fait avec précaution pour éviter le surapprentissage.
2. Utiliser un autre algorithme : si l'algorithme actuel n'est pas en mesure de capturer les modèles dans les données, il peut être nécessaire d'en essayer un autre. Par exemple, un réseau neuronal peut être plus efficace qu'un modèle de régression linéaire pour certains types de données.
3. Augmenter la quantité de données d'entraînement : si le modèle est sous-adapté en raison d'un manque de données, il peut être utile d'augmenter la quantité de données d'entraînement. Cela permettra au modèle de mieux capturer les modèles sous-jacents dans les données.
4. Régularisation : La régularisation est une technique utilisée pour éviter le sur-ajustement en ajoutant un terme de pénalité à la fonction de perte qui décourage les valeurs de paramètres élevées. Elle peut également être utilisée pour éviter le sous-ajustement en contrôlant la complexité du modèle.
5. Méthodes d'ensemble : les méthodes d'ensemble combinent plusieurs modèles pour créer une prédiction plus précise. Cela peut aider à réduire le sous-ajustement en permettant à plusieurs modèles de fonctionner ensemble pour capturer les modèles sous-jacents dans les données.
6. Ingénierie des fonctionnalités : L'ingénierie des fonctionnalités consiste à créer de nouvelles fonctionnalités de modèle à partir de celles existantes qui peuvent être plus pertinentes pour le problème en question. Cela peut aider à améliorer la précision du modèle et à éviter le sous-ajustement.

Le surajustement bénin décrit le phénomène d'un modèle statistique qui semble bien se généraliser à des données invisibles, même lorsqu'il a été parfaitement ajusté sur des données d'entraînement bruyantes (c'est-à-dire qu'il obtient une précision prédictive parfaite sur l'ensemble d'entraînement). Le phénomène est particulièrement intéressant dans les réseaux neuronaux profonds , mais il est étudié d'un point de vue théorique dans le contexte de modèles beaucoup plus simples, tels que la régression linéaire . En particulier, il a été démontré que le surparamétrage est essentiel pour le surajustement bénin dans ce contexte. En d'autres termes, le nombre de directions dans l'espace des paramètres qui ne sont pas importantes pour la prédiction doit dépasser de manière significative la taille de l'échantillon.