Institut multidisciplinaire d'intelligence artificielle

DESCRIPTION

EN BREF

Le grand défi de cette chaire à établir les fondements théoriques et méthodologiques des modèles d'apprentissage profond, ainsi qu'à améliorer leur robustesse, leurs capacités de généralisation et leur aptitude à apprendre des représentations discriminantes sans supervision.

OBJECTIFS SCIENTIFIQUES ET CONTEXTE

L'entraînement de réseaux neuronaux profonds lorsque la quantité de données annotées est faible ou en présence de perturbations adverses est un défi. Plus précisément, pour les réseaux neuronaux convolutifs, il est possible de concevoir des perturbations visuellement imperceptibles qui peuvent conduire à des prédictions de modèle arbitrairement différentes. Cette question de robustesse est liée au problème de la régularisation et à la capacité de généralisation avec peu d'exemples d'apprentissage. Notre objectif est de développer des approches théoriquement fondées qui résoudront les problèmes d'efficacité des données de ces modèles à dimensions énormes.

NOS ORIENTATIONS DE RECHERCHE S'ARTICULERONT AUTOUR DE QUATRE AXES PRINCIPAUX

1. régularisation des réseaux profonds d'un point de vue fonctionnel ;
2. développer de nouveaux principes de simplicité pour l'apprentissage non supervisé de modèles profonds ;
3. l'apprentissage par transfert et la recherche d'architectures neuronales ;
4. des collaborations pluridisciplinaires avec différents domaines scientifiques.

ACTIVITÉS

La chaire actuellement avec les entreprises françaises Criteo et Valeo, ainsi qu’avec les entreprises internationales Criteo et Facebook, dans le cadre de plusieurs contrats CIFRE (7). Plusieurs collaborations ont également été mises en place avec l’institut Prairie, avec Jean Ponce et Alexandre d’Aspremont, ainsi qu’avec d’autres chaires du MIAI chaires Diane Larlus, Anatoli Juditsky).

chaire

• l'université d'été 2021 de la PAISS, en juillet 2021, qui a attiré 300 étudiants et chercheurs du monde entier
• Exposé présenté lors du séminaire MalGA (en ligne), Université de Gênes, 2020
• Discours liminaire à ICT Innovations (en ligne), Skopje, 2020.
• Exposé présenté lors du séminaire DataSig, Oxford, 2020.

LISTE SÉLECTIVE DE PUBLICATIONS 

• Grégoire Mialon, Dexiong Chen, Alexandre d'Aspremont, Julien Mairal. Un noyau de transport optimal pour l'agrégation de caractéristiques. Conférence internationale sur les représentations d'apprentissage (ICLR). 2021


• B. Lecouat, J. Ponce et J. Mairal. Lucas-Kanade Reloaded : End-to-End Super-Resolution from Raw Image Bursts.International Conference on Computer Vision (ICCV). 2021.


• M. Caron, H. Touvron, I. Misra, H. Jégou, J. Mairal, P. Bojanowski et A. Joulin. Emerging Properties in Self-Supervised Vision Transformers. à paraître à l'International Conference on Computer Vision (ICCV). 2021


• G. Beugnot, J. Mairal et A. Rudi. Beyond Tikhonov : Faster Learning with Self-Concordant Losses via Iterative Regularization (Au-delà de Tikhonov : apprentissage plus rapide avec des pertes autoconcordantes via une régularisation itérative). Adv. Neural Information Processing Systems (NeurIPS). 2021.


• T. Bodrito, A. Zouaoui, J. Chanussot et J. Mairal. A Trainable Spectral-Spatial Sparse Coding Model for Hyperspectral Image Restoration. Adv. Neural Information Processing Systems (NeurIPS). 2021.


• A. Betlei, E. Diemert, M. Reza-Amini. Uplift Modeling with Generalitzation Guarantees. ACM KDD. 2021.


• Grégoire Mialon, Alexandre d'Aspremont, Julien Mairal. Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions. AISTATS 2020 - 23rd International Conference on Artificial Intelligence and Statistics, Jun 2020, Palermo / Virtual, Italy.


• Dexiong Chen, Laurent Jacob, Julien Mairal. Réseaux convolutifs à noyau pour les données structurées en graphe. ICML 2020 - Thirty-seventh International Conference on Machine Learning, Jul 2020, Vienna, Austria.


• Bruno Lecouat, Jean Ponce, Julien Mairal. Un cadre flexible pour la conception d'amorces entraînables avec lissage adaptatif et codage de jeu. Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS), Oct 2020, Vancouver, France.


• Mathilde Caron, Ishan Misra, Julien Mairal, Priya Goyal, Piotr Bojanowski et al. Unsupervised Learning of Visual Features by Contrasting Cluster Assignments. Thirty-fourth Conference on Neural Information Processing Systems (NeurIPS), Dec 2020, Virtual-only, United States.


• Nikita Dvornik, Cordelia Schmid, Julien Mairal. Sélection de caractéristiques pertinentes à partir d'une représentation multi-domaine pour la classification de quelques images. ECCV 2020 - European Conference on Computer Vision,


• Bruno Lecouat, Jean Ponce, Julien Mairal. Fully Trainable and Interpretable non-local sparse models for image restoration. ECCV 2020 - European Conference on Computer Vision.


• Grégoire Mialon, Dexiong Chen, Alexandre d'Aspremont, Julien Mairal. Un noyau de transport optimal pour l'agrégation de caractéristiques. Conférence internationale sur les représentations d'apprentissage (ICLR). 2021


• Andrei Kulunchakov, Julien Mairal. Séquences d'estimation pour l'optimisation composite stochastique : Réduction de la variance, accélération et robustesse au bruit. Journal of Machine Learning Research, 2020, 21 (155), pp.1-52.


• Andrei Kulunchakov, Julien Mairal. Un cadre d'accélération générique pour l'optimisation composite stochastique. NeurIPS 2019


• Trente-troisième conférence sur les systèmes de traitement de l'information neuronale, décembre 2019, Vancouver, Canada.


• Alberto Bietti, Julien Mairal. Sur le biais inductif des noyaux tangents neuronaux - NeurIPS 2019. Trente-troisième conférence sur les systèmes de traitement de l'information neuronale, déc 2019, Vancouver, Canada.


• Dexiong Chen, Laurent Jacob, Julien Mairal. Réseaux récurrents à noyau. NeurIPS 2019 - Thirty-third Conference on Neural Information Processing Systems, Dec 2019, Vancouver, Canada.