Erreur de généralisation

Pour les applications d'apprentissage supervisé dans l'apprentissage automatique et la théorie de l'apprentissage statistique , l'erreur de généralisation (également connue sous le nom d' erreur hors échantillon ou de risque ) est une mesure de la précision avec laquelle un algorithme est capable de prédire les résultats de données précédemment inédites. Comme les algorithmes d'apprentissage sont évalués sur des échantillons finis, l'évaluation d'un algorithme d'apprentissage peut être sensible à l'erreur d'échantillonnage . Par conséquent, les mesures de l'erreur de prédiction sur les données actuelles peuvent ne pas fournir beaucoup d'informations sur la capacité prédictive de l'algorithme sur de nouvelles données inédites. L'erreur de généralisation peut être minimisée en évitant le surajustement dans l'algorithme d'apprentissage. Les performances des algorithmes d'apprentissage automatique sont généralement visualisées par des courbes d'apprentissage qui montrent des estimations de l'erreur de généralisation tout au long du processus d'apprentissage.

Dans un problème d'apprentissage, l'objectif est de développer une fonction qui prédit les valeurs de sortie pour chaque donnée d'entrée . L'indice indique que la fonction est développée sur la base d'un ensemble de données de points de données. L' erreur de généralisation ou la perte ou le risque attendu d'une fonction particulière sur toutes les valeurs possibles de et est la valeur attendue de la fonction de perte :

où est la distribution de probabilité conjointe inconnue pour et .

Sans connaître la distribution de probabilité conjointe , il est impossible de calculer . Au lieu de cela, nous pouvons calculer l'erreur sur les données d'échantillon, qui est appelée erreur empirique (ou risque empirique ). Étant donné les points de données, l'erreur empirique d'une fonction candidate est :

On dit qu'un algorithme généralise si :

L' erreur de généralisation de la fonction dépendante des données trouvée par un algorithme d'apprentissage basé sur l'échantillon revêt une importance particulière . Là encore, pour une distribution de probabilité inconnue, elle ne peut pas être calculée. Au lieu de cela, l'objectif de nombreux problèmes de théorie de l'apprentissage statistique est de limiter ou de caractériser la différence entre l'erreur de généralisation et l'erreur empirique de probabilité :

Autrement dit, l'objectif est de caractériser la probabilité que l'erreur de généralisation soit inférieure à l'erreur empirique plus une limite d'erreur (généralement dépendante de et de ). Pour de nombreux types d'algorithmes, il a été démontré qu'un algorithme a des limites de généralisation s'il répond à certains critères de stabilité . Plus précisément, si un algorithme est symétrique (l'ordre des entrées n'affecte pas le résultat), a une perte limitée et répond à deux conditions de stabilité, il se généralisera. La première condition de stabilité, la stabilité de la validation croisée avec un oubli , stipule que pour être stable, l'erreur de prédiction pour chaque point de données lorsque la validation croisée avec un oubli est utilisée doit converger vers zéro comme . La deuxième condition, la stabilité de l'erreur attendue avec un oubli (également connue sous le nom de stabilité de l'hypothèse si elle fonctionne dans la norme ) est satisfaite si la prédiction sur un point de données omis ne change pas lorsqu'un seul point de données est supprimé de l'ensemble de données d'apprentissage.

Ces conditions peuvent être formalisées comme suit :

Un algorithme est stable si pour tout , il existe un et tel que :

et et va vers zéro comme va vers l'infini.

Un algorithme est stable si pour tout il existe un et un tels que :

avec et allant à zéro pour .

Pour la stabilité de la norme, c'est la même chose que la stabilité de l'hypothèse :

avec aller vers zéro comme aller vers l'infini.

Un certain nombre d'algorithmes se sont révélés stables et ont donc des limites sur leur erreur de généralisation. Une liste de ces algorithmes et des articles qui ont prouvé leur stabilité est disponible ici .

Les concepts d'erreur de généralisation et de surapprentissage sont étroitement liés. Le surapprentissage se produit lorsque la fonction apprise devient sensible au bruit dans l'échantillon. Par conséquent, la fonction fonctionnera bien sur l'ensemble d'apprentissage, mais pas sur d'autres données de la distribution de probabilité conjointe de et . Ainsi, plus le surapprentissage se produit, plus l'erreur de généralisation est grande.

Le niveau de surajustement peut être testé à l'aide de méthodes de validation croisée , qui divisent l'échantillon en échantillons d'apprentissage simulés et en échantillons de test. Le modèle est ensuite entraîné sur un échantillon d'apprentissage et évalué sur l'échantillon de test. L'échantillon de test n'est pas vu auparavant par l'algorithme et représente donc un échantillon aléatoire issu de la distribution de probabilité conjointe de et . Cet échantillon de test nous permet d'approximer l'erreur attendue et, par conséquent, d'approximer une forme particulière de l'erreur de généralisation.

Il existe de nombreux algorithmes permettant d'éviter le surapprentissage. L'algorithme de minimisation peut pénaliser des fonctions plus complexes (régularisation de Tikhonov ) , ou l'espace d'hypothèses peut être contraint, soit explicitement sous la forme des fonctions, soit en ajoutant des contraintes à la fonction de minimisation (régularisation d'Ivanov).

L’approche visant à trouver une fonction qui ne soit pas surajustée est en contradiction avec l’objectif de trouver une fonction suffisamment complexe pour capturer les caractéristiques particulières des données. C’est ce que l’on appelle le compromis biais-variance . Garder une fonction simple pour éviter le surajustement peut introduire un biais dans les prédictions résultantes, tandis que lui permettre d’être plus complexe conduit à un surajustement et à une variance plus élevée dans les prédictions. Il est impossible de minimiser les deux simultanément.