Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
> > > DQM - MDM : les données métiers

DQM - MDM : les données métiers

Méthodes, outils, bonnes pratiques.

Avec de nombreux exemples à l’appui, ce séminaire aborde les différents aspects d’une problématique à laquelle sont confrontées les entreprises d’aujourd’hui : faire en sorte que leurs applications traitent et exploitent des données crédibles, représentatives de leur domaine et dignes de confiance.

Objectifs

  • Données et impératifs métier : comment les concilier.
  • Les principaux critères de qualité pour décrire les données patrimoniales et externes.
  • La démarche qualité et son appropriation par la maîtrise d’ouvrage.
  • Les outils pour améliorer la pertinence métier des données.
  • Le domaine spécifique des données stratégiques et l’approche MDM pour les données faiblement mouvementées.
  • La mise en œuvre d’un projet MDM.

Public

  • DSI et leurs collaborateurs directs,
  • chefs de projets,
  • référents métiers
  •  maîtres d’ouvrages,
  • direction générale.

Prérequis

  • Connaissances de base en Systèmes d’Information

Programme de la formation

Les enjeux de la qualité des données  

Le positionnement

  • Les définitions : DQM, une préoccupation globale, MDM, la qualité et la pertinence des données patrimoniales (données de référence).
  • La place de la qualité des données dans la BI et le CPM.
  • La qualité des données en tant que vecteur de création de valeur.
  • Les événements déclencheurs : mise en place d’un ERP, fusion d’entreprises, concurrence, etc.

L’impact de la qualité des données sur les performances de l’entreprise

  • « Garbage in, garbage out » : la qualité des résultats dépend de la qualité des entrées.
  • Les enjeux : réduction des risques et des coûts, « compliance ».
  • Les conséquences négatives d’une non-qualité : traitements à recommencer, remise à niveau des Base de Données, résultats erronés, clients mécontents.
  • Tout ce que peut attendre l’entreprise d’une démarche qualité : valorisation du chiffre d’affaires, performances métier, meilleure satisfaction des utilisateurs, etc.

La réticence des entreprises

  • Une responsabilité non revendiquée.
  • Le manque d’implication de la direction générale.
  • Une qualité mal perçue et mal positionnée dans le SI.
  • La crainte de devoir reconsidérer l’architecture applicative du SI.
  • Un ROI parfois contesté.

Les niveaux de maturité de l’entreprise vis-à-vis de ses données

  • Les quatre niveaux de maturité : indiscipliné, réactif, proactif et managé.
  • Les critères caractéristiques et les moyens de passer d’un niveau à l’autre.

La démarche qualité  

Données, informations et connaissances

  • La prise en compte du Big Data.
  • L’hétérogénéité des sources de données.
  • La nécessité de procéder à une véritable cartographie des données existantes.
  • Émergence de nouvelles représentations : XML, NoSQL, etc.
  • Le traitement qualité, spécifique de chacun des types de données : Internet, texte, bureautique, XML, Base de Données.

Les cercles vertueux de la qualité

  • Cercle 0 : les Base de Données structurées et les données centrales (MDM).
  • Cercle 1 : les données publiques (Open Data) et les données partenaires professionnels (banques, administration, etc.).
  • Cercle 2 : les données semi-structurées issues de liens XML.
  • Cercle 3 : les données internes issues de la bureautique.
  • Cercle 4 : les données en provenance des réseaux sociaux d’entreprise et publics.
  • Cercle 5 : les données issues de la presse et d’Internet.

La modélisation des données : l’acte fondateur

  • Le lien entre modélisation et qualité.
  • Les solutions pour modéliser les données et l’apport particulier de Merise.
  • Exemple concret.

Les bonnes questions à se poser

  • Quelles sont les contraintes et les spécificités liées à chaque cercle vertueux ?
  • Les modes de traitement (différé, temps réel, mobile, etc.) ont-ils une influence sur la stratégie de qualité ?
  • Quelles natures de contrôles faut-il instaurer ?
  • Quel niveau de confiance accorder aux historiques ?

Les facteurs de réussite

  • Standardisation, prendre son temps, recherche d’unicité des données, bonne gestion des habilitations, définition des KPI, etc.
  • Exemples concrets.

Les critères de qualité  

Les principaux critères de qualité

  • Fraîcheur.
  • Disponibilité.
  • Complétude.
  • Exactitude.
  • Conformité aux standards.
  • Sécurité.
  • Sémantique.
  • Représentativité.
  • « Trouvabilité » (Findability).
  • Duplication, intégrité, cohérence.

La personnalisation des critères

  • La signification réelle des critères de qualité selon le domaine métier.
  • Exemples concrets.

Les indicateurs de qualité  

Le recours aux indicateurs

  • Les indicateurs (KPI), au cœur du suivi qualité.
  • Les familles de critères.
  • Cas concrets.

Comment les choisir ou les définir

  • Méthodes (souvent empiriques) de détermination des critères.
  • Exemples concrets.

Comment les mesurer

  • Techniques de mesure et de calcul des critères.
  • Exemples concrets.

L’exposition des critères aux usagers

  • Systèmes d’alerte.
  • Applications spécifiques.
  • Dashboards et scoreboards.

Les outils de la démarche qualité  

Les méthodologies (Frameworks) liées à l’approche qualité

  • Les principes méthodologiques.
  • TDQM, TIQM.

Les techniques d’amélioration de la qualité

  • Le profilage (Profiling).
  • La standardisation.
  • Le nettoyage (Cleansing).
  • Le rapprochement (Matching).
  • L’enrichissement.
  • La décomposition (Parsing).
  • La surveillance (Monitoring).
  • L’élimination du bruit.
  • Exemples concrets.

Panorama des solutions actuelles

  • Les outils de travail « foncier » sur les données.
  • Les solutions intégrées à une plateforme globale : SAP, IBM, Oracle.
  • Les outils issus du décisionnel : SAS (DataFlux), Talend, Informatica, Microsoft.

Le projet qualité  

L’organisation du projet

  • Structure de l’équipe.
  • Le rôle accompagnateur de l’informatique.
  • Mise en œuvre d’une structure permanente de contrôle.
  • Les profils sur lesquels s’appuyer.
  • L’importance du projet pilote (POC).
  • La seule « vraie » comparaison à faire.

Le phasage

  • Détermination des domaines de pertinence de la qualité.
  • Détermination des services nécessaires à la mise en place et au bon fonctionnement du processus de qualité.
  • Cartographie des fournisseurs et consommateurs de données : maintenance, qualité, gestion et cycle de vie des données.
  • Mise en œuvre des moyens de calcul et de mesure des indicateurs permettant d’illustrer les apports de la qualité sur la performance de l’entreprise.
  • Mise en œuvre des livrables de suivi à destination du management de l’entreprise, de la DSI, des directions opérationnelles.

MDM : Master Data Management  

Les données « maîtres »

  • Définition des données « maîtres » (références ou patrimoniales) uniques et communes à l’ensemble du SI.
  • Cartographie des processus de création et de mise à jour des données « maîtres ».
  • Les liens entre MDM et démarche qualité.
  • Les données candidates au modèle MDM : clients, produits, etc.
  • La réalité du terrain : les applications anciennes, les progiciels externes fermés.

Les motivations MDM

  • Amélioration de la fiabilité opérationnelle des applications.
  • Simplification de l’architecture applicative globale du SI.
  • ROI démontrable : gains en chiffre d’affaires, maintenance simplifiée, anomalies clients réduites.

Ce qu’implique un projet MDM

  • Distinction entre construction du référentiel et interactions avec les applications.
  • Identification des sources de données référentielles.
  • Collecte des données, interfaces et transformations.
  • Mise en place des règles d’administration et de gestion.
  • Les usages MDM : collaboratif, opérationnel et analytique.

Les architectures MDM  

Le « golden record » ou point de vérité

  • Définition.
  • Avantages du point de vérité unique.
  • Un spectre étendu : du « replâtrage » à la refonte des applications consommatrices.

Les trois architectures envisageables

  • Consolidée unique, consolidée avec référentiels multiples, mode registre.
  • Conséquences sur les nouveaux projets.
  • Publication et synchronisation.
  • Avantages, inconvénients, complexité, coûts.
  • Comparaison récapitulative des solutions.
  • Un mini projet concret avec point de vérité unique.

Les fonctions MDM  

Les fonctionnalités assurées par un MDM

  • Gestion des identifications : cohérence des données par domaines d’usage.
  • Gestion de la qualité.
  • Gestion de la hiérarchie des données, des groupes et des liens entre données.
  • Gestion du cycle de vie des données : création, modification, suppression.
  • Sécurité, confidentialité, « logging ».

Les métadonnées

  • Equilibre et choix des métadonnées.
  • Les familles de métadonnées : nom, cycle de vie, contacts, définition, représentation, gestion.
  • Normes et références envisageables.
  • Exemples concrets.

Les solutions MDM  

Les offres du marché

  • Les offres verticales : environnements dédiés.
  • Les offres multidomaines : ouverture aux produits tiers et données externes.
  • La segmentation en MDM collaboratifs, transactionnels et analytiques.
  • Les solutions concrètes de DataFlux, IBM, Informatica, Microsoft, Oracle, Orchestra Networks, SAP, Software AG, Talend.

L’interfaçage MDM avec les applications externes

  • Interfaçage des données.
  • Accès aux fonctionnalités MDM depuis un applicatif tiers, les Frameworks
  • Solutions concrètes : IBM Infosphere, SAP Java API MDM, Talend, Informatica, etc.

Vers la gouvernance des données  

Convergence de la qualité et MDM

  • Vers un processus plus global de gouvernance des données.
  • Démarches envisageables pour y parvenir.
  • Les ingrédients de la gouvernance des données.
  • Profil du « Data Scientist », CDO (Chief Data Officer) ou Architecte des Données.

Les bonnes pratiques

  • Nécessité de faire apparaître la gouvernance des données comme un levier clé de l’entreprise, accepté par tous : avoir l’appui de la direction générale.
  • Prendre son temps et bien choisir les premières cibles. Importance du POC sur un domaine « garanti ».
  • Mise en œuvre et positionnement d’une structure responsable, située à un niveau suffisant de l’organigramme.
  • Permettre aux usagers, au-delà de la qualité, de suivre leurs données métier.
  • Déléguer aux métiers la mise en place des règles liées aux données.
  • Suivre les métriques associées aux données.
  • Mettre en œuvre des outils (proches de la qualité) pour nettoyer, enrichir et valider les données.