NA

Ouvert à tous les élèves de 2A.

Les outils d'apprentissage profond ont pris ces dernières années une importance considérable dans les applications industrielles, au point que de très nombreux élèves de l'École des Ponts s'y trouvent confrontés pendant leur stage/année de césure ou même durant leurs projets de département. L'enjeu de ce module est donc de les amener à utiliser ces outils de manière efficace, critique et pertinente.

À l'issue du module, les élèves auront compris les composantes essentielles de l'apprentissage profond : (i) architectures ; (ii) fonctions de coûts ; (iii) optimisation.

Les élèves seront également sensibilisés à la pratique de l'apprentissage profond, et en particulier aux problèmes du sur/sous apprentissage, aux stratégies d'optimisation, aux sources d'erreur et aux pratiques courantes, aux outils d'analyse des résultats et à l'utilisation d'une librairie d'apprentissage profond moderne (PyTorch)

Le module sera organisé en trois blocs comprenant chacun cour et TP/TD :

- Introduction et bases des réseaux de neurones (perceptron, perceptron multi-couches, fonction de coût, backpropagation..). Le TP/TD visera à implémenter complètement des réseaux de neurones simples, sans utiliser de librairie particulière. 2 séances de cours, 1,5 séances de TP.

- Réseaux de neurones modernes et profonds (Adam, batch normalization, architectures résiduelles, data augmentation, fine-tunning, implémentation efficace...) Le TP/TD portera sur l'entrainer un modèle convolutionnel profond avec PyTorch, en mettant en relief les choix clés à effectuer. 1 séance de cours, 2 séances de TP.

- Thématiques avancées, éléments de référence sur un certain nombre de thèmes populaires (attention, transformers, réseaux génératifs adversariaux/GANs, auto-encodeur variationnel/VAE, apprentissage non et faiblement supervisé, "one-shot", données 3D…). 1 séance de cours, 1,5 séances de TP.

11 séances de 2,5h comprenant cours magistraux (~10h) et aides à la réalisation des TPs/TDs (~12.5h) qui seront à finir et rendre individuellement.

La validation sera effectuée par des QCM en début de session (10%) et les rendus des TPs/TDs (90%).

Deep Learning, Goodfellow, Bengio and Courville, MIT press 2016: https://www.deeplearningbook.org

01 Septembre 2024