Formation Mise en oeuvre du Deep Learning

Le Machine Learning est un élément majeur dans l'évolution du Big Data vers l'Intelligence Artificielle. En confortant cette évolution et en se rapprochant toujours plus de cette notion d'intelligence, le Deep Learning qui repose sur des traitements distribués dans des réseaux étendus de neurones (ce qui démultiplie les capacités d'analyse des informations) offre de nouvelles possibilités. Pourquoi ? Puisque bien au-delà d'interprétations évolutives, il permet de bénéficier de prévisions, de projections, de conseils mais aussi de nouveaux services tels que la reconnaissance faciale, d'images ou de sons. Les participants à cette formation se familiariseront avec les différents types de réseaux de neurones et apprendront à mettre en place des solutions de Deep Learning.

Introduction

• L'avènement du Deep Learning
• Deep Learning Time line
• Que peuvent apprendre les machines ?

Réseaux de neurones simples

• Le Perceptron
• Le Perceptron multi-couches
• L'entrainement d'un Perceptron
• Principe de back propagation
• Les optimiseurs du Deep Learning
• La régularisation des réseaux de neurones
• Techniques de réglages des NN
• Lab : mise en oeuvre d'un Perceptron Multi-couches

Réseaux de neurones convolutifs (convolutional neural networks - CNNs)

• Pourquoi ce type de réseaux
• Principe de fonctionnement des CNNs
• Les champs de réceptions locaux
• Les poids partagés
• Convolution - notion de Padding
• Convolution - Principe du calcul
• Les couches de sous-échantillonnage : pooling
• Les CNNs très profonds : DCNNs
• Modèles CNNs - Concours ImageNet
• Architectures DCNNs
• Mécanisme d'Inception : Google
• L'apprentissage par transfert : Transfer Learning
• La promesse des réseaux de Capsules

Réseaux de neurones auto-encodeurs et variationnels (AEs et VAEs)

• Auto-encodeurs génériques : Principes de fonctionnement ; Choix des fonctions d'encodage/décodage ; L'opération de "déconvolution" ; Usages des auto-encodeurs et modes d'apprentissage
• Auto-encodeurs variationnels : variational autoencoders : Pourquoi les VAEs ; Principes de fonctionnement ; Modèle d'inférence variationnelle ; Fonction de perte des VAEs ; Optimisation : astuce du re-paramétrage ; Exemple de mise en oeuvre d'un VAE ; Différentes variantes courantes des VAEs

Réseaux antagonistes génératifs (generative adversial networks - GANs)

• L'exemple des Deep Fake Faces
• Taxonomie des modèles génératifs
• Publication fondatrice des GANs
• Les GANs, des réseaux en coopétition
• Modèles générateurs et discriminants
• Intérêts des GANs
• Problématiques classiques des GANs
• Taxonomies des GANs
• Principes de fonctionnement des GANs standards
• Principes d'entraînement
• Approche formelle de l'entraînement
• Les GANS convolutionnels profonds type DCGANs
• Focus sur des GANs de référence plus avancés
• L'apprentissage progressif type PROGANS
• L'apprentissage conditionnel type CGANS
• La captation de traits distants type SAGANS
• L'apprentissage cyclique type CYCLEGANS
• Le transfert de style type STYLEGANS
• Synthèse modèles GANS

Réseaux de neurones séquentiels (RNNs, Transformers, etc.)

• Introduction
• Les réseaux neuronaux récursifs simples
• Les différentes topologies des RNNs
• L'évanescence et l'explosion des gradients
• La variante LSTM des RNNs
• Autre variante : GRULes RNNs bidirectionnels
• Le Traitement de très longues séquences
• L'approche pure convolutive du modèle Wavenet
• Les approches encodeur - décodeur
• Les réseaux SequenceToSequence simples : seq2sec)
• L'entraînement d'un réseau seq2seq
• L'inférence d'un réseau seq2sec
• Le mécanisme “Attention”
• Un scoring de correspondance entre éléments
• Attention : Alignement dynamique des poids
• Attention : calcul de la fonction d'alignement
• L'architecture disruptive des Transformers
• L'approche Key, Value et Query
• Illustration du calcul d'alignement
• Un mécanisme Multi-têtes d'attention
• Qu'apporte un mécanisme Self-Attention
• Architecture complète des Transformers
• Hyperparamètres clés des Transformers

Réseaux de neurones profonds auto-apprenants

• L'apprentissage profond par renforcement : deep reinforcement learning - DRL
• Principes de fonctionnement
• Cadre Markovien
• Notions de valeur d'état et de politique
• Processus de décision Markovien : MDP
• Résolution par différents apprentissages
• Taxonomies des algorithmes RL
• Algorithmes profonds basés sur la valeur : Principe d'optimalité de Bellman
• La valeur d'action Q
• Apprentissage profond de la valeur d'action Q
• Principes du fonctionnement des DQN : deep Q network
• Approche par exploration - exploitation
• La relecture d'expérience : experience replay
• Principe d'entraînement du réseau Q
• Variante DDQN
• Algorithmes profonds basés sur la valeur : Méthodes types Gradient de la politique
• Approche REINFORCE : principes et formalisme
• Modélisation de la politique
• Théorème du Gradient de la Politique
• Algorithme REINFORCE
• Algorithmes mixtes : Variante REINFORCE avec base de référence
• Autres variantes : ACTOR-CRITIC, A2C
• ALFAGO et évolutions

Les modèles massifs

• Une loi d'échelle fondamentale
• Évolution temporelle des Large Language Models : LLMs
• Le bénéfice d'un apprentissage large non supervisé
• L'architecture Transformer revisitée
• Arbre d'évolution des LLMs
• Dichotomie des modèles discriminants et génératifs
• BERT - Un modèle fondateur des LLMs
• Architecture du modèle Transformer Encodeur
• Pré entraînement et réglage fin
• GPTs - L'apprentissage multitâche non supervisé
• ChatGPT - La performance de l'apprentissage en context
• Architecture Transformer décodeur simple
• Détails des hyperparamètres d'un modèle ouvert GPT
• L'apprentissage non supervisé autorégressif
• Le réglage fin par prompts : few shot learning
• DALL-E - Une déclinaison massive pour l'image
• Modèles multi-modaux : texte, image)