Mérième Bouhandi, doctorante de l’équipe TALN, soutiendra sa thèse intitulée « Amélioration endogène des modèles de langue : Application aux domaines de spécialité ».
Le 14.02.2023 dans l’amphitéâthe du bâtiment 34, UFR S&T.
Encadrement : Emmanuel Morin / Thierry Hamon (LISN)
Jury : Anne VILNAT (LISN) et Thierry CHARNOIS (LIPN)
Résumé : Aujourd’hui, le champ de recherche sur la modélisation de la langue a atteint une certaine maturité : plusieurs modèles de langue profonds sont disponibles sur plusieurs langues et dans plusieurs domaines. Les performances de ces modèles ont d’ailleurs nettement progressé ces dernières années. Cependant, un enjeu principal demeure : les méthodes et les techniques actuellement utilisées pour construire ou adapter ces modèles, telle l’adaptation fine ou fine-tuning, donnent la priorité au volume des données à partir desquelles ils sont construits. Dans le cas des domaines spécialisés, les corpus pour l’entraînement ou l’adaptation de ces modèles sont généralement de taille plus modeste, et ces méthodes se révèlent moins efficaces. Nous avançons ainsi que, dans le cas des petits corpus ou des domaines de spécialité peu dotés, une partie de la structure syntaxique et sémantique du texte n’est pas exploitée lors de l’adaptation fine. Ainsi, un travail d’adaptation au domaine s’avère donc nécessaire. Dans ce travail de thèse, nous proposons une méthode d’adaptation des modèles de langue profonds pour obtenir de meilleurs résultats sur des tâches de spécialité, en prenant compte des informations globales issues de graphes de vocabulaire. Nous réinjectons cette connaissance dans les modèles de langue profonds, améliorant les résultats sur un ensemble de tâches spécialisées. Afin d’évaluer notre méthode, nous menons des expériences sur plusieurs tâches de spécialité. Nous réalisons un premier ensemble d’expériences afin d’adapter nos modèles au domaine. Puis, nous réalisons un autre ensemble d’expériences pour effectuer des analyses quantitatives, montrant que les modèles de langue profonds peuvent bel et bien être adaptés au domaine en utilisant l’approche à base de graphes que nous proposons.
