Worldlex Wiki Un système de questions-réponses, généralement un programme informatique, peut construire ses réponses en interrogeant une base de données structurée de connaissances . Plus couramment, les systèmes de questions-réponses peuvent extraire les réponses d'une collection non structurée de documents en langage naturel.
Quelques exemples de collections de documents en langage naturel utilisées pour les systèmes de réponse aux questions comprennent des textes de référence, des rapports de presse compilés , des pages Wikipédia et d'autres pages du World Wide Web .
d'ELIZA et DOCTOR , les premiers programmes de chatbot .SHRDLU était un programme de questions-réponses à succès, développé par Terry Winograd à la fin des années 1960 et au début des années 1970. Il simulait le fonctionnement d'un robot dans un univers de jouets (le « monde des blocs ») et permettait d'interroger le robot sur l'état de cet univers. La force de ce système résidait dans le choix d'un domaine très spécifique et d'un monde très simple, régi par des lois physiques faciles à implémenter dans un programme informatique.
Dans les années 1970, des bases de connaissances ciblées sur des domaines de connaissances plus restreints ont été développées. Les systèmes de question-réponse conçus pour interagir avec ces systèmes experts produisaient des réponses des bases de connaissances construites et organisées par des experts , tandis que de nombreux systèmes de question-réponse modernes s'appuient sur le traitement statistique d'un vaste corpus de textes en langage naturel non structurés.
Les années 1970 et 1980 ont vu l'émergence de théories exhaustives en linguistique informatique , qui ont conduit à des projets ambitieux de compréhension de texte et de réponse aux questions. Un exemple en est Unix Consultant (UC), développé par Robert Wilensky à l'UC Berkeley à la fin des années 1980. Ce système répondait aux questions relatives au système d'exploitation Unix . Doté d'une base de connaissances complète et élaborée manuellement, il visait à adapter la formulation des réponses aux différents types d'utilisateurs. Un autre projet, LILOG, était un système de compréhension de texte opérant dans le domaine de l'information touristique d'une ville allemande. Les systèmes développés dans le cadre des projets UC et LILOG n'ont jamais dépassé le stade de simples démonstrations, mais ils ont contribué au développement des théories de la linguistique informatique et du raisonnement.
Des systèmes de réponse aux questions en langage naturel spécialisés ont été développés, tels que EAGLi pour les scientifiques de la santé et de la vie.
Ces dernières années, les systèmes de réponse aux questions ont été étendus à de nouveaux domaines de connaissances Par exemple, des systèmes ont été développés pour répondre automatiquement aux questions temporelles et géospatiales, aux questions de définition et de terminologie, aux questions biographiques, aux questions multilingues et aux questions relatives au contenu audio, image et vidéo . Les thèmes de recherche actuels en matière de réponse aux questions incluent :analyse sémantique
En 2011, Watson , un système informatique de réponse aux questions développé par IBM , a participé à deux matchs d'exhibition de Jeopardy! contre Brad Rutter et Ken Jennings , remportant la victoire avec une avance considérable. Facebook Research a mis son système licence open source . Ce système utilise Wikipédia comme source de connaissances. Le framework open source Haystack de deepset combine la réponse aux questions en domaine ouvert avec la réponse aux questions générative et prend en charge l' modèles de langage [36], tels que GPT-4 [37] et Gemini [38], sont des exemples de systèmes de questions-réponses performants qui permettent une compréhension et une génération de texte plus sophistiquées. Associés à des systèmes de questions-réponses multimodaux [39] , capables de traiter et de comprendre des informations provenant de diverses modalités comme le texte, les images et l'audio, les LLM améliorent considérablement les capacités des systèmes de questions-réponses.
Types
La recherche sur les questions-réponses tente de développer des méthodes pour répondre à un large éventail de types de questions, notamment les questions factuelles, les listes, les définitions , les questions sur le comment, le pourquoi, les questions hypothétiques, les questions à contraintes sémantiques et les questions multilingues.
- Répondre à des questions relatives à un article pour évaluer la compréhension écrite est une forme relativement simple de question-réponse, car l'article est généralement court comparé à d'autres types de problèmes de ce type. Par exemple, une question pourrait être : « Pourquoi Albert Einstein a-t-il reçu le prix Nobel ? » après la soumission d'un article sur ce sujet au système.
- Le questionnaire à livre fermé consiste pour un système à répondre à des questions après avoir mémorisé des informations lors de son entraînement, sans qu'aucun contexte explicite ne lui soit fourni. Ce procédé est comparable aux examens passés par des humains à livre fermé.
- La réponse aux questions dans un domaine fermé traite des questions relevant d'un domaine spécifique (par exemple, la médecine ou la maintenance automobile) et peut exploiter des connaissances propres à ce domaine, souvent formalisées dans des ontologies . L'expression « domaine fermé » peut également désigner une situation où seul un type limité de questions est accepté, par exemple des questions descriptives plutôt que procédurales . Des systèmes de réponse aux questions, La question-réponse en domaine ouvert traite de questions portant sur presque n'importe quel sujet et ne peut s'appuyer que sur des ontologies générales et des connaissances du monde. Les systèmes conçus pour ce type de question-réponse disposent généralement d'une quantité de données bien plus importante pour extraire la réponse. Un exemple de question-réponse en domaine ouvert est : « Pourquoi Albert Einstein a-t-il reçu le prix Nobel ? », sans qu'aucun article sur ce sujet ne soit fourni au système.
Une autre façon de catégoriser les systèmes de questions-réponses repose sur l'approche technique utilisée. Il existe différents types de systèmes de questions-réponses, notamment :
- systèmes à base de règles ,
- systèmes statistiques, et
- systèmes hybrides .
Les systèmes à base de règles utilisent un ensemble de règles pour déterminer la réponse correcte à une question. Les systèmes statistiques utilisent des méthodes statistiques pour trouver la réponse la plus probable à une question. Les systèmes hybrides combinent les méthodes à base de règles et les méthodes statistiques.
Architecture
GPT-3 , T5 et BART utilisent une architecture de bout en bout dans laquelle une architecture basée sur les transformateurs stocke des données textuelles à grande échelle dans ses paramètres sous-jacents. Ces modèles peuvent répondre aux questions sans accéder à aucune source de connaissances externe.corpus de recherche de qualité ; sans documents contenant la réponse, aucun système de réponse aux questions ne peut être très efficace. Des corpus plus importants offrent généralement de meilleures performances, sauf si le domaine de la question est sans rapport avec le corpus. La redondance des données dans les vastes corpus, comme le Web, signifie que des informations pertinentes sont susceptibles d'être formulées de multiples façons selon les contextes et les documents , ce qui présente deux avantages :
- Si l'information pertinente se présente sous de nombreuses formes, le système de réponse aux questions aura besoin de recourir à moins de techniques NLP complexes pour comprendre le texte.
- Les réponses correctes peuvent être filtrées des faux positifs car le système peut s'appuyer sur le fait que les versions correctes apparaissent plus souvent dans le corpus que les versions incorrectes.
Certains systèmes de réponse aux questions s'appuient fortement sur le raisonnement automatisé .
Domaine ouvert
Le système prend en entrée une question formulée en langage naturel plutôt qu'une série de mots-clés, par exemple : « Quand est la fête nationale de la Chine ? » Il transforme ensuite cette phrase en une requête structurée . Accepter les questions en langage naturel rend le système plus convivial, mais plus complexe à implémenter, car il existe une grande variété de types de questions et le système doit identifier le type approprié pour fournir une réponse pertinente. L'attribution d'un type de question est une étape cruciale ; l'ensemble du processus d'extraction de la réponse repose sur la détermination du type de question correct, et donc du type de réponse approprié.
L'extraction de mots clés est la première étape pour identifier le type de question posée. Dans certains cas, les mots indiquent clairement le type de question, par exemple « Qui », « Où », « Quand » ou « Combien » ; ces mots peuvent suggérer au système que les réponses doivent être respectivement de type « Personne », « Lieu », « Date » ou « Nombre ». L'étiquetage morphosyntaxique et l'analyse syntaxique peuvent également déterminer le type de réponse. Dans l'exemple ci-dessus, le sujet est « Fête nationale chinoise », le prédicat est « est » et le complément circonstanciel est « quand », donc le type de réponse est « Date ». Malheureusement, certains mots interrogatifs comme « Lequel », « Quoi » ou « Comment » ne correspondent pas à des types de réponse univoques : chacun peut représenter plusieurs types. Dans ce cas, il est nécessaire de prendre en compte d'autres mots de la question. Un dictionnaire lexical tel que WordNet peut être utilisé pour comprendre le contexte.
Une fois le type de question identifié, le système utilise un système de recherche documentaire pour trouver un ensemble de documents contenant les mots-clés pertinents. Un étiqueteur et un segmentateur de groupes nominaux/verbaux vérifient si les entités et relations appropriées sont mentionnées dans les documents trouvés. Pour les questions de type « Qui » ou « Où », un module de reconnaissance d'entités nommées identifie les noms de « Personne » et de « Lieu » pertinents dans les documents extraits. modèle vectoriel permet de classer les réponses candidates. Il faut vérifier si la réponse correspond au type déterminé lors de l'analyse du type de question. Une technique d'inférence permet de valider les réponses candidates. Chaque réponse candidate se voit attribuer un score en fonction du nombre de mots de la question qu'elle contient et de leur proximité avec la réponse : plus il y a de mots et plus ils sont proches, meilleure est la réponse. La réponse est ensuite traduite par analyse syntaxique en une représentation compacte et compréhensible. Dans l'exemple précédent, la réponse attendue est « 1er octobre ».MathQA , un système de questions-réponses mathématique open source basé sur Wikidata , a été publié en 2018. MathQA prend en entrée une question en langage naturel (anglais ou hindi) et renvoie une formule mathématique extraite de Wikidata sous forme de réponse concise, traduite en un format exploitable permettant à l'utilisateur de saisir les valeurs des variables. Le système récupère les noms et les valeurs des variables ainsi que les constantes courantes de Wikidata, si ces informations sont disponibles. Il est affirmé que le système surpasse un moteur de connaissances mathématiques commercial sur un ensemble de tests. MathQA est hébergé par Wikimedia à l' adresse https://mathqa.wmflabs.org/ . En 2022, il a été étendu pour répondre à 15 types de questions mathématiques.
Les méthodes de questions-réponses mathématiques (MathQA) doivent combiner langage naturel et langage formel. Une approche possible consiste à effectuer une annotation supervisée via la liaison d'entités . La tâche « ARQMath » de CLEF 2020 a été lancée pour résoudre le problème de la liaison des nouvelles questions publiées sur la plateforme Math Stack Exchange aux questions existantes ayant déjà reçu une réponse de la communauté. Fournir des hyperliens vers des questions déjà résolues et sémantiquement liées permet aux utilisateurs d'obtenir des réponses plus rapidement, mais représente un défi de taille car la pertinence sémantique n'est pas triviale . Le laboratoire a été motivé par le constat que 20 % des requêtes mathématiques dans les moteurs de recherche généralistes sont formulées comme des questions bien formulées . Le défi comportait deux sous-tâches distinctes : la tâche 1, « Récupération de réponses », consistant à associer les réponses aux anciennes questions posées, et la tâche 2, « Récupération de formules », consistant à associer les formules aux anciennes questions. Partant du domaine des mathématiques, qui fait appel à un langage de formules, l’objectif est d’étendre ensuite cette tâche à d’autres domaines (par exemple, les disciplines STEM, telles que la chimie, la biologie, etc.), qui utilisent d’autres types de notations spéciales (par exemple, les formules chimiques).
L'inverse de la réponse aux questions mathématiques — la génération de questions mathématiques — a également fait l'objet de recherches. Le moteur de génération et de test de questions de physique PhysWikiQuiz extrait des formules mathématiques de Wikidata ainsi que des informations sémantiques sur leurs identifiants constitutifs (noms et valeurs des variables). Les formules sont ensuite réorganisées pour générer un ensemble de variantes. Enfin, les variables sont remplacées par des valeurs aléatoires afin de générer un grand nombre de questions différentes, adaptées aux tests individuels des étudiants.
Applications
Les systèmes d'assurance qualité sont utilisés dans diverses applications, notamment :
- Vérifier si un fait est avéré, en posant une question comme : le fait X est- il vrai ou faux ?
- Service client,
- Assistance technique,
- Étude de marché,
- Génération de rapports ou de recherches en langage naturel.