Formation IBM InfoSphere Advanced DataStage - Parallel Framework v11.5

Ce cours est conçu pour présenter les techniques avancées de développement de travaux parallèles dans DataStage v11.5. Dans ce cours, vous développerez une compréhension plus approfondie de l'architecture DataStage, y compris une compréhension plus approfondie des environnements de développement DataStaged et d'exécution. Cela vous permettra de concevoir des tâches parallèles robustes, moins sujettes aux erreurs, réutilisables et optimisées pour de meilleures performances.

Introduction à l'architecture du framework parallèle

• Décrire l'architecture de traitement parallèle
• Décrire le parallélisme des pipelines et des partitions
• Décrire le rôle du fichier de configuration
• Concevoir un travail qui crée des données de test robustes

Compiler et exécuter des travaux

• Décrire les parties principales du fichier de configuration
• Décrire le processus de compilation et le SST généré par le processus de compilation
• Décrivez le rôle et les principales parties de la partition
• Décrire le processus d'exécution du travail

Partitionner et collecter des données

• Comprendre le fonctionnement du partitionnement dans la structure
• Affichage des partitionneurs dans la partition
• Sélection d'algorithmes de partitionnement
• Générer des séquences de nombres (clés de substitution) dans un environnement parallèle partitionné

Tri des données

• Trier les données dans le cadre parallèle
• Trouver des tris insérés dans le score
• Réduire le nombre de tris insérés
• Optimiser les tâches Fork-Join
• Utilisez les étapes de tri pour déterminer la dernière ligne d'un groupe
• Décrire la clé de tri et la logique de la clé de partitionnement dans le cadre parallèle

Mise en mémoire tampon dans les travaux parallèles

• Décrire le fonctionnement de la mise en mémoire tampon dans les travaux parallèles
• Ajuster les tampons dans les travaux parallèles
• Eviter les conflits de tampon

Types de données d'infrastructure parallèles

• Décrire les ensembles de données virtuels
• Décrire les schémas
• Décrire les mappages et les conversions de types de données
• Décrivez comment les données externes sont traitées
• Gérer les nulls
• Travailler avec des données complexes

 Composants réutilisables

• Créer un fichier de schéma
• Lire un fichier séquentiel à l'aide d'un schéma
• Décrire la propagation de colonne d'exécution (RCP)
• Activer et désactiver le RCP
• Créer et utiliser des conteneurs partagés

Optimisation équilibrée

• Activer la fonctionnalité d'optimisation équilibrée dans Designer
• Décrire le flux de travail d'optimisation équilibrée
• Répertoriez les différentes options d'optimisation équilibrée.
• Traitement en phase poussée vers une source de données
• Traitement du stade poussé vers une cible de données
• Optimiser une tâche en accédant au système de fichiers Hadoop HDFS
• Comprendre les limites des optimisations équilibrées