Lire cet article en English
Documentez les métadonnées SAP BODS avec 360Suite
L’ETL SAP Data Services est un outil très répandu et utilisé notamment par les clients SAP BusinessObjects, mais pour autant, il est impossible de documenter quoi que ce soit ni de suivre les changements dans l’ETL. De plus en plus de contraintes réglementaires imposent d’être capable de documenter les changements, et la navigation manuelle et ponctuelle ne suffit plus. Nous avons récemment lancé une solution qui permet de répondre à ce besoin grandissant : 360Eyes for SAP Data Services, une solution qui permet de documenter les métadonnées de SAP BODS et de réaliser un lineage complet de vos données depuis les bases de données jusqu’au rapport final. Dans cet article, nous allons revenir sur l’intérêt de documenter vos métadonnées et comment y parvenir.
L’importance de documenter les métadonnées de SAP Data Services
Il est important de comprendre pourquoi il est nécessaire de documenter les métadonnées SAP BODS, en particulier pour les développeurs BI et les utilisateurs métier qui en bénéficieront. Alors, pourquoi et pour qui la documentation est-elle si importante ?
Pour l’ensemble de l’organisation
Du point de vue de la gouvernance des données, une documentation appropriée garantit que toutes les entrées et les sorties des processus ETL sont correctement gérées, de l’acquisition à l’analyse, la préparation, le catalogage, l’utilisation et la gestion de la donnée. Afin de garantir des données fiables et fraîches, toujours disponibles pour le système décisionnel, il est important de pouvoir tracer et auditer les différentes sources de données qui servent de fondation au cadre analytique d’une entreprise. Cela permet non seulement d’en garantir la qualité une fois qu’elles sont livrées aux utilisateurs pour leur consommation, mais aussi de comprendre comment elles ont été nettoyées, calculées, enrichies et comment elles doivent être sécurisées.
Les utilisateurs métier veulent être informés
Les utilisateurs veulent comprendre comment les faits sont déterminés afin d’être sûrs que leurs décisions soient fondées sur des informations exactes. Ils exigent une documentation qui assure une plus grande transparence en ce qui concerne l’origine et le traitement des données. Elle leur permet de vérifier les sources et la qualité des informations fournies, garantissant ainsi que le logiciel et les données présentées répondent à leurs exigences et augmentent ainsi la confiance dans la donnée.
Plus de systèmes opérationnels engendrent plus de complexité
Pour les développeurs BI, l’intégration d’un nombre croissant de systèmes d’exploitation signifie plus de processus ETL et plus de complexité. Lorsque les systèmes ont été “hérités”, le premier exercice consiste à remonter le processus ETL afin de comprendre la provenance des données. Disposer d’une documentation sur laquelle s’appuyer lorsqu’on traite avec les systèmes actuels permet de mieux comprendre leur structure. Elle facilite l’intégration de nouvelles sources de données, la modification des flux de données actuels et la création de nouveaux flux, réduisant ainsi le temps total de développement et de déploiement.
Anticiper et régler les problèmes
Très souvent, les processus ETL ne sont pas ou peu documentés. La documentation doit faire partie intégrante de la conception d’une organisation, sinon elle devient obsolète et n’est plus utilisable. Lorsque vous savez qui utilise les données, vous pouvez analyser l’impact de toute modification des données sur votre environnement. La compréhension des processus ETL vous permet d’atténuer les risques associés à ces modifications. En outre, elle vous permet d’identifier les problèmes de performance dus à une mauvaise conception et de prendre les mesures nécessaires pour les résoudre.
360Eyes for SAP Data Services
360Eyes for SAP Data Services permet d’effectuer de la Business Intelligence sur les processus ETL tels qu’ils ont été définis dans SAP Data Services, ce qui vous permet d’exploiter les métadonnées ETL de SAP Data Services et de comprendre exactement ce qui s’y passe.
L’installation de cette solution est très légère, il suffit de décompresser le package d’installation, de configurer l’accès aux bases de données 360Eyes et SAP Data Services, et de lancer l’extraction. Nous récupérons les métadonnées relatives à toutes les couches de votre processus ETL.
Nous extrayons les métadonnées d’un ou plusieurs repository SAP Data Services, les déposons dans un entrepôt de données hors ligne et, à l’aide d’un univers SAP BusinessObjects et des documents WebI que nous vous livrons, vous pourrez accéder aux données mises à votre disposition.
L’utilisation des artefacts SAP BusinessObjects permet de planifier et d’envoyer les rapports WebI aux utilisateurs de l’ETL afin de répondre à leurs besoins respectifs en matière de documentation. 360Eyes for SAP Data Services permet également le développement de l’analyse en libre-service – vous pourrez créer vos propres documents WebI pour accéder à vos métadonnées. Le modèle d’extraction fourni vous permettra en outre de comparer votre métadonnée dans le temps et de constater son évolution.
Que pouvez-vous documenter dans 360Eyes for SAP Data Services ?
Les éléments suivants seront documentables :
- Projets
- Jobs
- Workflows
- Dataflows incluant les transformations qui ont été ajoutées au flux de données (seule la transformation du type Query figure dans la version 2020.3. D’autres types seront inclus dans des versions ultérieures)
- Datastores (Bases de données) : sources et cibles
- Historique et détails des jobs ETL planifiés
- Les jobs réussis et en échec
- Date et heure de début et de fin des planifications
- Nombre de lignes récupérées
- Durée pour le suivi des performances
En plus des artefacts SAP BusinessObjects, vous serez en mesure de recueillir des informations sur les relations entre les données qui sont intégrées dans la définition du processus ETL, comme :
- Quels sont les jobs contenus dans un projet
- Quels workflows appartiennent à d’autres workflows et à d’autres jobs
- Les dataflows contenus à l’intérieur d’autres dataflows et d’autres workflows
- Les bases de données sources et cibles incluses dans un dataflow
- Les transformations qui ont été définies dans un flux de données
- Les artefacts orphelins qui subsistent lorsqu’un projet est supprimé; par exemple, les flux de données, les transformations, etc.
De plus, dans le SAP Data Services Designer, vous pouvez ajouter un marqueur dans la description des objets tel que #DONNEESENSIBLE. Cela vous permettra de suivre et de vérifier l’utilisation des objets qui contiennent des informations sensibles, comme un numéro de sécurité sociale par exemple, qui sont passés par le processus ETL et qui sont utilisés par les univers SAP BusinessObjects, les requêtes Freehand SQL et les champs de rapport.
Les exemples de rapports fournis dans le cadre de l’offre 360Eyes vous permettront d’identifier ces métadonnées marquées pour la documentation et l’analyse dans une optique de respect des exigences réglementaires.
La prochaine étape
Vous souhaitez documenter vos métadonnées SAP BODS ? Et bien, maintenant vous pouvez ! 360Eyes for SAP Data Services vous permettra de documenter tout changement apporté à votre ETL et vous donnera une meilleure compréhension de ce qui s’y passe. Documenter les processus ETL vous permettra d’identifier tout problème de performance et vous apportera une plus grande transparence vis-à-vis de vos données. Si vous souhaitez commencer à documenter vos métadonnées SAP BODS, contactez-nous et l’un de nos experts vous accompagnera dans votre projet.