Institut multidisciplinaire d'intelligence artificielle

EXPLOITATION DES DONNÉES HORS LIGNE POUR CALIBRER LES AGENTS D'APPRENTISSAGE PAR RENFORCEMENT EN LIGNE

RÉSUMÉ

L'apprentissage par renforcement fournit un formalisme général pour résoudre les problèmes de contrôle, mais il n'a pas encore été largement utilisé dans le monde réel. Nous avons été en train d'examiner l'utilisation de l'apprentissage par renforcement pour optimiser le traitement de l'eau potable, directement sur le système physique, et nous avons naturellement rencontré de nombreux défis techniques. Dans cette présentation, je discuterai d'une question importante pour le déploiement dans le monde réel : la sélection hors ligne des hyperparamètres, pour un agent d'apprentissage continu. Avant qu'un agent d'apprentissage puisse être déployé, ses hyperparamètres doivent être spécifiés. Je vais présenter une solution possible, dans le cadre où un lot de données hors ligne est disponible à partir d'un contrôleur précédent dans le système, et discuter des principaux défis ouverts.

 MARTHA WHITE

Martha White est professeure associée en informatique à l'Université de l'Alberta et chercheuse principale d'Amii–l'Alberta Machine Intelligence Institute–qui est l'un des meilleurs centres d'apprentissage automatique au monde. Elle est titulaire d'une chaire IA Canada CIFAR et a reçu le prix IEEE « AIs 10 to Watch: The Future of AI » en 2020. Elle est l'auteure de plus de 50 articles dans les meilleures revues et conférences. Martha est rédactrice associée pour JMLR et TPAMI, et a été coprésidente du programme pour ICLR et présidente de secteur pour de nombreuses conférences en IA et en ML, notamment ICML, NeurIPS, AAAI et IJCAI.