Sourcer des données dans une solution de dataviz

 
 

Sourcer les données dans sa solution de dataviz
 

 
 
Qu’est ce qui se cache derrière une variable, une expression, la simple cellule d’un dashboard ?
Ce n'est pas nécessairement simple à savoir, surtout si le dashboard est complexe.  

 
Méthodologie : 
 
 
Nous proposons une introspection fine et automatisée de certaines solutions de dataviz par un scan automatisé des dashboards : templates, et métadonnées, en mode SaaS.
 
   Technos analysées :
 
 
 
Analyse granulaire
 
openAudit® vient analyser la structure des dashboards, les métadonnées qui s’y trouvent, donc l’intelligence, la structure, les sources, etc.
 
Faible impact 
 
Ce parsing se fait au "delta" pour ne pas sur-solliciter les serveurs. L’ensemble des métadonnées collectées sont centralisées et historisées. 
 
Analyses continues
 
openAudit® scanne continuellement et uniquement les dashboards qui ont
évolué. Un versioning unitaire a lieu quotidiennement sur un git.
 
 
Output :
Un data lineage jusqu'aux couches d'alimentation  
 
 
 
1- Un moteur de recherche pour isoler un datapoint du dashboard. 
 
Vous saisissez le nom de l’objet, du bloc, du filtre, de la variable, de
l’expressions… etc, dans un simple moteur de recherche qui propose par autocomplétion toutes les réponses liées. 
 
2- Un affichage instantané du data lineage
 
L’ensemble des transformations s’affichent instantanément jusqu’aux sources physiques. Le data lineage peut être éventuellement prolongé dans les bases de données (Cloud, on prem') jusqu'aux sources opérationnelles ! 
 
 
 NB : 

  1. Nous proposons également des grilles d'analyse d'impact qui définissent au départ d'un champ, les impacts dans le dashboard,
  2. Les dashboards repliqués peuvent être identifiés,
  3. L’ensemble des données qui sont produites mais non utilisées dans la couche de data visualisation sont identifiées (directement ou via des expressions, des variables, des filtres, etc.), 
  4. Dans PowerBI, le processus inclut le data lineage des parties SSAS (telles que Power Query M, les requêtes SQL, les expressions calculées, les DAX), mais aussi le langage MDX et le protocole XMLA. 
 

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

La Data Observabilité, Buzzword ou nécessité ?

Image
    La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "observabilité des données" sont une option.     
Lire la suite

BCBS 239 : L'enjeu de la fréquence et de l'exactitude du reporting de risque

Image
  BCBS 239 :    L'enjeu de la fréquence et de l'exactitude du reporting de risque.  La BCE a publié un guide en juillet 2023 pour repréciser ses attentes dans le cadre de BCBS 239. Elle prévoit de renforcer le dispositif de supervision en matière de qualité des données.   L'objectif global de la norme BCBS 239 est de renforcer les capacités d'agrégation des données de risques des banques, et les pratiques internes de reporting de risques, améliorant ainsi les processus de gestion des risques et de prise de décision dans les banques. « La bonne information doit être à disposition pour les bonnes personnes et au bon moment ».   La mise en œuvre de BCBS 239 n'est a priori pas simple.   Pourquoi ? Malgré cette surveillance prudentielle accrue,  la BCE n’a toujours pas constaté de progrès suffisants en 2023 :  "le dispositif data quality et reporting risques ne reçoit pas encore le niveau d’attention approprié de la part des banques".   Nous avons beaucoup écha
Lire la suite

Le data lineage, l’arme idéale pour la Data Loss Prevention ?

Image
  Le data lineage technique couplé à la détection des usages de l’information permet de savoir au départ de n’importe quelle donnée, qui y accède finalement, et dans quel contexte. Et si c’était un grand pas vers une véritable sécurité informationnelle, une réponse simple et efficace pour la Data Leaks/Loss Prevention ?  La DLP (Data Leaks / Loss Prevention), c’est quoi ?   _______________________________________ « Le terme Data Loss/Leaks Prevention (DLP) fait référence à un ensemble de techniques qui permettent d’identifier, de contrôler et de protéger l’information grâce à des analyses de contenu approfondies, que l’information soit stockée, en mouvement, ou traitée . L’objectif est de limiter la fuite de données sensibles.  Une solution DLP est capable d’identifier les données sensibles, de repérer l’endroit où elle est stockée, de contrôler qui doit avoir accès à ces données et enfin de les protéger, c’est-à-dire d’empêcher toute personne non autorisée à y avoir accès… » W
Lire la suite