Institut multidisciplinaire d'intelligence artificielle
NLP Beyond Correlation, Maxime Peyrard (Professeur Junior Chair au CNRS)
Dans cette présentation, nous donnerons un aperçu concis de l'importance d'une perspective causale et démontrerons diverses applications dans le traitement automatique du langage naturel (TAL). Pour les modèles de langage d'apprentissage, nous montrerons comment le principe d'invariance peut être exploité pour créer des modèles qui présentent de meilleures capacités de généralisation. Ensuite, nous approfondirons la nécessité d'une analyse causale pour l'interprétabilité des modèles et introduirons la notion d'abstraction causale, en présentant une orientation de recherche pour l'avenir. Enfin, nous explorerons comment l'adoption d'une perspective causale peut offrir des informations précieuses pour améliorer nos méthodologies d'évaluation.
Évaluation des grands modèles de langage pour le français : de FlauBERT à Pantagruel, Didier Schwab (Maître de conférences, LIG ) & Lorraine Goeuriot (Maître de conférences, UGA )
Données synthétiques et grands modèles de langage : une bénédiction déguisée ?Matthias Gallé (Responsable Machine Learning, Cohere)
L'utilisation de données générées de manière synthétique a gagné en popularité au cours de l'année écoulée. Cette popularité s'ajoute au double espoir de poursuivre l'ascension fulgurante des données non annotées qui a alimenté l'auto-apprentissage, ainsi que de briser l'obstacle prophétisé (par les prophètes des lois d'échelle) selon lequel « nous manquons de données textuelles ».
Cette popularité, quelque peu contre-intuitive, a soulevé des inquiétudes quant aux biais cachés et à l'effondrement des modèles. Dans cette présentation, nous allons passer en revue quelques utilisations concrètes des données synthétiques ainsi que les pièges à éviter.
Conclusion, Hervé Martin
Buffet
