Talend Open Studio, intégration de données

Introduction

• Rappels sur les solutions ETL.
• Présentation Talend OpenStudio : installation, configuration des préférences utilisateurs.
• Documentation.
• Concevoir des jobs simples avec Talend OpenStudio.

Modélisation

• Présentation des outils : Business Modeler, JobDesigner
• Mise en oeuvre des principales connexions.
• Intégration de fichiers XML et CSV
• Etude des composants de transformation.
• Analyse du code et exécution des jobs.

Optimisation des jobs

• Utilisation des métadonnées, import/export, propagation sur les jobs, configuration de connexions réutilisables
• Stockage des variables de contexte dans les fichiers .properties et .ini

Liens avec les bases de données

• Présentation des bases de données supportées
• Opérations sur les tables,
• Connexion à un schéma de bases de données
• Gestion des transactions
• Utilisation de SQLBuilder pour créer des requêtes

BigData

• But, présentation des composants BigData,
• Connexion HDFS, mappage et stockage HDFS
• Aggregation MapReduce.
• Jointure Pig
• Couplage Cassandra.

Traitement de données multi-sources

• Le composant tMap
• Mise en oeuvre : création de jointures, transformations à l'aide des variables, expressions et jointures, qualification des données à l'aide de filtres,
• Génération de sorties multiples
• Extensions : décomposition de jobs, mise en oeuvre du tRunJob,
• debugging, analyse des statistiques d'exécution,
• reporting avec jJasperOutput