Formation Conception d’applications IA générative - LLM, RAG et architectures agentiques

La formation Conception d’applications IA générative : LLM, RAG et architectures agentiques constitue un socle technique avancé pour maîtriser la conception de solutions basées sur les modèles de langage (LLM). Elle permet de comprendre en profondeur les mécanismes des Transformers, du prompt engineering avancé, des architectures RAG (Retrieval Augmented Generation) et des approches de personnalisation comme le fine-tuning, indispensables pour concevoir des applications d’IA générative performantes, fiables et adaptées aux besoins métier. Orientée pratique et innovation, cette formation aborde également les architectures agentiques, le raisonnement autonome (ReAct), les outils LLMOps et les frameworks modernes tels que LangChain et LangGraph, afin de préparer efficacement les participants à passer de l’expérimentation à l’industrialisation de projets IA.

Comprendre le moteur : architecture et fonctionnement des LLM

• Changement de paradigme de l’IA et évolution des LLM (lois d’échelle)
• Fondamentaux du traitement automatique du langage naturel (NLP)
• Transition vers l’ère post Deep Learning
• Architecture des Transformers et principes fondateurs
• Rôle de l’encodeur et du décodeur
• Tokenisation et algorithme Byte Pair Encoding (BPE)
• Fonctionnement de l’encodeur : embeddings et positionnement
• Mécanisme d’attention multi-têtes
• Spécialisation des têtes d’attention
• Fonctionnement du décodeur et auto-attention masquée
• Étapes d’entraînement d’un modèle Transformer
• Évolutions récentes : décodeur seul et encodage RoPE
• Nouvelles architectures : FlashMLA et Mixture of Experts (MoE)

 Stratégie de sélection et écosystèmes LLM

• Critères de sélection des modèles selon les cas d’usage
• Différences entre modèles encodeur (BERT) et décodeur (GPT)
• Panorama des modèles avancés (DeepSeek, GPT-4)
• Optimisation des modèles avec LLaMA
• APIs de modèles propriétaires (OpenAI, Anthropic)
• Utilisation du Hub Hugging Face
• Introduction à LangChain
• Outils LLMOps (type MLflow)

Design d’interactions : Prompt Engineering

• Notion de token et distribution probabiliste
• Paramétrage avancé (Top-K, Top-P, température)
• Structure d’un prompt efficace
• Instruction tuning et délimiteurs
• Décomposition des tâches complexes
• Techniques Zero-shot, One-shot, Few-shot
• Templates de prompts avec LangChain
• Chain-of-Thought
• Self-consistency
• Tree of Thoughts

Conception de systèmes augmentés (RAG et agents)

• Limites du prompt seul
• Gestion de la mémoire (court / long terme)
• Types de mémoire avec LangChain
• Architecture RAG
• Découpage des documents
• Génération d’embeddings
• Bases vectorielles
• Implémentation avec FAISS
• RAG avancé (Corrective / Adaptive)
• Agentic RAG
• Intégration d’outils externes
• Méthode ReAct

Fine-Tuning et déploiement

• Cas d’usage du Fine-Tuning
• Principes du réglage fin
• Supervised Fine-Tuning (SFT)
• RLHF
• Stratégies d’adaptation des modèles
• PEFT
• LoRA
• QLoRA
• Model Serving
• Model Registry
• Déploiement sur endpoint
• Évaluation des modèles (qualité, toxicité, tokens)
• Métriques de lisibilité et LLM-as-a-Judge