Institut multidisciplinaire d'intelligence artificielle
Dans cette présentation, je discuterai des travaux récents de mon groupe explorant une découverte curieuse : lors de l'entraînement de réseaux neuronaux, la réinitialisation périodique de certains ou de tous les paramètres peut être utile pour promouvoir de meilleures solutions. Je commencerai par une discussion de nos découvertes dans l'apprentissage supervisé où nous relions cette stratégie à l'apprentissage itéré, une méthode pour promouvoir la compositionnalité dans les langues émergentes. Nous montrons ensuite comment les réinitialisations de paramètres semblent compenser un défaut courant des algorithmes d'apprentissage par renforcement profond (RL) : une tendance à s'appuyer sur les interactions précoces et à ignorer les preuves utiles rencontrées plus tard. Nous appliquons ce mécanisme de réinitialisation aux algorithmes dans les domaines d'action discrets (Atari 100k) et continus (DeepMind Control Suite) et observons une amélioration constante des performances. Je conclus avec quelques découvertes récentes et des spéculations sur les causes sous-jacentes des effets observés des réinitialisations de paramètres.
