Read this article in English 
Data Analytics :
le véritable dernier kilomètre
sur le parcours de la donnée
Tranchons le débat une bonne fois pour toutes
De nombreux acteurs de l’industrie débattent sur la question du dernier kilomètre sur le parcours de la donnée. Certains affirment qu’il se situe à l’étape de la donnée traitée (notamment au niveau de l’entrepôt de données ou du datamart), d’autres encore le situent au niveau du dataset… Vous, qu’en pensez-vous ?
La réalité, c’est que personne ne prend de décisions sur des datasets.
C’est pourquoi nous souhaitons replacer l’église au centre du village. Le véritable dernier kilomètre du parcours des données se situe au niveau de la couche analytique. “Ah bon ?!” . Oui, les solutions analytiques sont utilisées pour prendre des décisions importantes et courantes et les organisations réalisent aujourd’hui que les process qualité mis en œuvre à ce niveau du parcours ne sont pas suffisants.
Cet article a pour objectif de montrer pourquoi nous pensons que le dernier kilomètre du parcours des données se trouve au niveau de la couche analytique / BI et pourquoi les organisations doivent aujourd’hui investir davantage pour garantir la plus haute qualité du système.
Le véritable dernier kilomètre
du parcours des données
Le véritable dernier kilomètre du parcours des données.
Commençons par le commencement, revenons sur le parcours des données en entreprise :
Données transactionnelles
Le tout premier kilomètre est celui des données transactionnelles, c’est-à-dire l’endroit où vos données sont générées. Il peut s’agir de données issues d’un ERP, d’un CRM, d’un logiciel de gestion ou même d’un système en ligne. Il s’agit des données dans leur état le plus brut. Ce sont ces systèmes qui contiennent les informations nécessaires à la prise de décisions. Mais, en réalité, vous ne voudriez pas simplement les connecter immédiatement à votre plateforme BI & Analytics. Pourquoi ? Parce que les données ne contiendraient pas d’agrégations, de règles métier, de données provenant d’autres systèmes, etc., ce qui réduirait le niveau de qualité des analyses à peau de chagrin. A ce stade du parcours, la donnée a beaucoup de valeur, mais elle est peu exploitable car elle se trouve dans un état trop “brut”.
Entrepôt de données
Pour surmonter cette difficulté, la prochaine étape du voyage des données consiste à faire transiter la donnée vers un entrepôt de données et/ou des datamarts. C’est à ce stade que l’entreprise exprime les besoins en informations qu’elle requière pour prendre des décisions. L’équipe ETL accèdera ensuite aux données, les fusionnera, les nettoiera et ajoutera les règles métier, avant de procéder à des tests approfondis.
Chez Wiiisdom, nous aidons les entreprises à garantir le plus haut niveau de qualité des données analytiques, et nous voyons souvent des clients nous dire “pourquoi devrions-nous vérifier les données au niveau de la couche analytique alors que je sais que mon entrepôt de données est bien gouverné et testé ?” Et c’est là que se trouve le problème : ce n’est pas parce que votre entrepôt de données est fiable que les tableaux de bords qui s’appuieront dessus le seront. On fait trop souvent confiance à l’entrepôt de données, ce qui crée un faux sentiment de sécurité.
Préparation des données / Data Prep
Une fois que dans l’entrepôt de données, vos données sont ensuite récupérées et découper en segments : il contient tellement d’informations que, de manière réaliste, vous voudrez créer des sous-ensembles spécifiques de données, adaptés à certains projets, certaines BU, comme par exemple des données pour le service financier. L’étape de préparation de donnée vous permettra ainsi de découper ceci en datasets pour obtenir les données financières sur le périmètre France, sur les 5 dernières années. Et cette étape a lieu dans la plateforme analytique comme par exemple Tableau Prep pour Tableau et Power Query pour Microsoft Power BI.
Supposons que vous ne vouliez que des données financières france, le fait de sélectionner manuellement des colonnes de données parmi d’autres, de les transformer et de les fusionner avec d’autres sources de données externes aura un impact sur vos données. Le risque d’impact augmente dès que vous prenez un sous-ensemble de données de votre entrepôt de données. Ce niveau de préparation des données est très rarement testé ou manuellement. Vous ne pouvez pas vous fier uniquement à votre entrepôt de données, qui est probablement une source fiable et testée, car, en fait, les solutions modernes de BI et d’analytique se connectent à des ensembles de données, ce qui nécessite une autre étape de préparation et de filtrage, qui crée à son tour de nouvelles données, qui doivent être testées.
Data Analytics / BI
Les données analytiques est ce que nous appelons les données réelles, celles qui sont contenues dans vos visualisations et autres rapports BI. Il s’agit des données qui sont importées à partir du Data Prep/Dataset. Il s’agit d’une autre couche où les données peuvent à nouveau être transformées par des filtres, de nouvelles formules, etc.
Exemple d’un tableau de bord Tableau – le véritable dernier kilomètre du voyage des données.
La qualité des données analytiques est importante parce qu’il y existe de nombreuses opportunités pour transformer la donnée, tout au long du parcours de celle-ci, depuis son état brut, à sa restitution dans les plateformes BI et Analytique. Ces données sont souvent manipulées par des utilisateurs non-avertis ce qui accroît encore davantage le risque potentiel de qualité. Les organisations ne peuvent plus se fier uniquement à l’entrepôt de données ou même aux datasets issus des outils de préparation de donnée, car la qualité doit être de mise jusqu’au dernier kilomètre. Les organisations doivent effectuer des tests automatisés de BI à chaque étape pour assurer un processus de prise de décision sans risque pour les utilisateurs.
Visionnez l’intervention de notre VP Produit lors de Decisive 22 où il met en avant les raisons pour lesquelles les organisations ne peuvent pas se permettre d’ignorer le véritable dernier kilomètre du voyage des données :
Pourquoi devez-vous assurer la qualité du dernier kilomètre ?
Garantir la qualité n’est pas une option lorsqu’il s’agit de la couche BI/Analytique des données, c’est une nécessité car c’est là que les utilisateurs consomment la donnée et prennent des décisions importantes. Comme vous l’avez vu, les données ont de très nombreuses possibilités d’être transformées, du tout premier kilomètre au tableau de bord final, sur la ligne d’arrivée. La qualité des données brutes est indispensable mais ne suffit plus.
Prenons une analogie : lorsqu’un vaccin est produit, il est soumis à de nombreux tests et vérifications avant d’etre conditionné et avant de quitter l’usine de fabrication. Certains pourraient dire que c’est son état final, le dernier kilomètre, mais ce n’est pas le cas. Les vaccins doivent encore être livrés en pharmacies pour être administrés au public. C’est là qu’est le véritable dernier kilomètre sur son parcours. On pourrait même dire que le dernier kilomètre se situe entre la pharmacie et le patient, mais vous comprenez l’idée. Entre l’usine et la pharmacie, il existe toujours un risque que les vaccins soient endommagés ou altérés. Il faut donc être sûr de la qualité du vaccin jusqu’au dernier kilomètre de son parcours.
Il devrait en être de même pour l’analyse des données, mais les entreprises oublient l’importance de la qualité dans le dernier kilomètre du parcours des données. La solution pour avoir un parcours de la donnée jalonné de tests et de vérifications est la mise en œuvre de technologies d’AnalyticsOps qui reprennent les concepts du DevOps et du DataOps et les appliquent à l’analytique.
Garantissez la qualité des analytiques dès aujourd’hui
Le véritable dernier kilomètre du parcours des données se trouve au niveau de la couche analytique, car c’est là que les décisions métier sont prises. C’est peut-être le dernier kilomètre du parcours des données, mais c’est le premier kilomètre du processus de prise de décision, qui commence avec les business analysts et les décideurs. Prenez ce temps de réflexion : investissez-vous autant dans la qualité des analytics que dans la qualité des données ? Vos utilisateurs peuvent-ils faire confiance à 100% aux tableaux de bord ou aux rapports qu’ils utilisent pour prendre des décisions ? Les tests nécessaires sont-ils mis en place ? Sont-ils scalables ?
Chez Wiiisdom, nous aidons les organisations à garantir la meilleure qualité possible, de la couche de préparation des données jusqu’à l’endroit où les utilisateurs consomment les données dans les tableaux de bord, grâce à des tests automatisés pour vos plateformes de BI et Analytique. En mettant en œuvre un processus de test approfondi, les organisations peuvent restaurer la confiance, assurer une adoption élevée par les utilisateurs et, en fin de compte, assurer une prise de décision plus fiable au sein de l’organisation.
