Sélection du modèle

La sélection de modèles est la tâche consistant à sélectionner un modèle parmi différents candidats sur la base de critères de performance pour choisir le meilleur. Dans le contexte de l'apprentissage automatique et plus généralement de l'analyse statistique , il peut s'agir de la sélection d'un modèle statistique parmi un ensemble de modèles candidats, à partir de données données. Dans les cas les plus simples, un ensemble de données préexistantes est pris en compte. Cependant, la tâche peut également impliquer la conception d'expériences de telle sorte que les données collectées soient bien adaptées au problème de sélection de modèles. Étant donné des modèles candidats ayant un pouvoir prédictif ou explicatif similaire, le modèle le plus simple est le plus susceptible d'être le meilleur choix ( rasoir d'Occam ).

Konishi et Kitagawa (2008, p. 75) affirment que « la majorité des problèmes d' inférence statistique peuvent être considérés comme des problèmes liés à la modélisation statistique ». De même, Cox (2006, p. 197) a déclaré que « la manière dont se fait la traduction du problème de sujet en modèle statistique est souvent la partie la plus critique d'une analyse ».

La sélection de modèles peut également faire référence au problème de sélection de quelques modèles représentatifs parmi un grand ensemble de modèles informatiques à des fins de prise de décision ou d'optimisation dans des conditions d'incertitude.

Dans l’apprentissage automatique , les approches algorithmiques de sélection de modèles incluent la sélection de fonctionnalités , l’optimisation des hyperparamètres et la théorie de l’apprentissage statistique .

Dans ses formes les plus élémentaires, la sélection de modèles est l'une des tâches fondamentales de la recherche scientifique . La détermination du principe qui explique une série d'observations est souvent directement liée à un modèle mathématique prédisant ces observations. Par exemple, lorsque Galilée a effectué ses expériences sur un plan incliné , il a démontré que le mouvement des boules correspondait à la parabole prédite par son modèle .

Parmi les innombrables mécanismes et processus possibles qui auraient pu produire les données, comment peut-on même commencer à choisir le meilleur modèle ? L'approche mathématique généralement adoptée décide parmi un ensemble de modèles candidats ; cet ensemble doit être choisi par le chercheur. Souvent, des modèles simples tels que des polynômes sont utilisés, au moins au début . Burnham et Anderson (2002) soulignent tout au long de leur ouvrage l'importance de choisir des modèles basés sur des principes scientifiques solides, tels que la compréhension des processus ou mécanismes phénoménologiques (par exemple, les réactions chimiques) sous-jacents aux données.

Une fois que l'ensemble des modèles candidats a été choisi, l'analyse statistique nous permet de sélectionner le meilleur de ces modèles. La définition du meilleur est controversée. Une bonne technique de sélection de modèle équilibrera la qualité de l'ajustement avec la simplicité. Les modèles plus complexes seront plus à même d'adapter leur forme aux données (par exemple, un polynôme du cinquième ordre peut correspondre exactement à six points), mais les paramètres supplémentaires peuvent ne représenter rien d'utile. (Il se peut que ces six points soient simplement distribués aléatoirement autour d'une ligne droite.) La qualité de l'ajustement est généralement déterminée à l'aide d'une approche du rapport de vraisemblance , ou d'une approximation de celle-ci, conduisant à un test du chi carré . La complexité est généralement mesurée en comptant le nombre de paramètres du modèle.

Les techniques de sélection de modèles peuvent être considérées comme des estimateurs d'une certaine quantité physique, telle que la probabilité que le modèle produise les données données. Le biais et la variance sont tous deux des mesures importantes de la qualité de cet estimateur ; l'efficacité est également souvent prise en compte.

Un exemple standard de sélection de modèle est celui de l'ajustement de courbe , où, étant donné un ensemble de points et d'autres connaissances de base (par exemple, les points sont le résultat d' échantillons iid ), nous devons sélectionner une courbe qui décrit la fonction qui a généré les points.

L'inférence et l'apprentissage à partir des données ont deux objectifs principaux. L'un est la découverte scientifique, également appelée inférence statistique, la compréhension du mécanisme sous-jacent de génération des données et l'interprétation de la nature des données. Un autre objectif de l'apprentissage à partir des données est la prédiction d'observations futures ou invisibles, également appelée prédiction statistique. Dans le deuxième objectif, le data scientist ne s'intéresse pas nécessairement à une description probabiliste précise des données. Bien entendu, on peut également s'intéresser aux deux directions.

Conformément à ces deux objectifs différents, la sélection du modèle peut également avoir deux directions : la sélection du modèle pour l'inférence et la sélection du modèle pour la prédiction. La première direction consiste à identifier le meilleur modèle pour les données, qui fournira de préférence une caractérisation fiable des sources d'incertitude pour l'interprétation scientifique. Pour atteindre cet objectif, il est très important que le modèle sélectionné ne soit pas trop sensible à la taille de l'échantillon. Par conséquent, une notion appropriée pour évaluer la sélection du modèle est la cohérence de la sélection, ce qui signifie que le candidat le plus robuste sera sélectionné de manière cohérente compte tenu du nombre suffisant d'échantillons de données.

La deuxième direction consiste à choisir un modèle comme machinerie pour offrir d'excellentes performances prédictives. Dans ce dernier cas, cependant, le modèle sélectionné peut simplement être l'heureux gagnant parmi quelques concurrents proches, mais les performances prédictives peuvent toujours être les meilleures possibles. Si tel est le cas, la sélection du modèle est correcte pour le deuxième objectif (prédiction), mais l'utilisation du modèle sélectionné pour la compréhension et l'interprétation peut être gravement peu fiable et trompeuse. De plus, pour des modèles très complexes sélectionnés de cette manière, même les prédictions peuvent être déraisonnables pour des données à peine différentes de celles sur lesquelles la sélection a été faite.

• Transformation des données (statistiques)
• Analyse exploratoire des données
• Spécification du modèle
• Méthode scientifique

Vous trouverez ci-dessous une liste de critères de sélection de modèles. Les critères d'information les plus couramment utilisés sont (i) le critère d'information d'Akaike et (ii) le facteur de Bayes et/ou le critère d'information bayésien (qui se rapproche dans une certaine mesure du facteur de Bayes), voir Stoica & Selen (2004) pour une revue.

• Critère d'information d'Akaike (AIC), une mesure de l'adéquation d'un modèle statistique estimé
• Facteur de Bayes
• Critère d'information bayésien (BIC), également connu sous le nom de critère d'information de Schwarz, un critère statistique pour la sélection de modèles
• Critère de pont (BC), un critère statistique qui peut atteindre les meilleures performances de l'AIC et du BIC malgré la pertinence de la spécification du modèle.
• Validation croisée
• Critère d'information sur la déviance (DIC), un autre critère de sélection de modèle orienté bayésien
• Taux de fausses découvertes
• Critère d'information focalisée (CIF), un critère de sélection triant les modèles statistiques en fonction de leur efficacité pour un paramètre de focalisation donné
• Critère d'information de Hannan-Quinn , une alternative aux critères d'Akaike et de Bayes
• Le critère d'information de Kashyap (KIC) est une alternative puissante à l'AIC et au BIC, car le KIC utilise la matrice d'information de Fisher
• Test du rapport de vraisemblance
• C _p de Mallows
• Longueur minimale de la description
• Longueur minimale du message (MML)
• Statistique PRESS , également connue sous le nom de critère PRESS
• Minimisation des risques structurels
• Régression par étapes
• Critère d'information Watanabe-Akaike (WAIC), également appelé critère d'information largement applicable
• Le critère d'information bayésien étendu (EBIC) est une extension du critère d'information bayésien ordinaire (BIC) pour les modèles avec des espaces de paramètres élevés.
• Le critère d'information étendu de Fisher (EFIC) est un critère de sélection de modèle pour les modèles de régression linéaire.
• Le critère de contrainte minimale (CMC) est un critère fréquentiste pour la sélection de modèles de régression avec une base géométrique.

Parmi ces critères, la validation croisée est généralement la plus précise et la plus coûteuse en termes de calcul pour les problèmes d'apprentissage supervisé.

Burnham et Anderson (2002, §6.3) affirment ce qui suit :

Il existe une grande variété de méthodes de sélection de modèles. Cependant, du point de vue de la performance statistique d'une méthode et du contexte prévu de son utilisation, il n'existe que deux classes distinctes de méthodes : celles-ci ont été qualifiées d'efficaces et de cohérentes . (...) Dans le paradigme fréquentiste de la sélection de modèles, on distingue généralement trois approches principales : (I) l'optimisation de certains critères de sélection, (II) les tests d'hypothèses et (III) les méthodes ad hoc.