Le data lineage et l’usage des données pour transformer un système : simplifications / migrations

  The 2008 crisis The so-called “Subprime” financial crisis began in 2008. It gave way to that of “Sovereign Debts”. This crisis has hurt developed economies around the world. Some took more than 10 years to recover. Beyond the root causes of this episode, this crisis has highlighted significant difficulties for banks to manage risks by relying on relevant and reliable reporting. The information systems and data architectures were then not very homogeneous, and above all poorly controlled, which made it difficult to consolidate the risks by relevant areas of analysis, within the appropriate timeframes. From there was born "BCBS 239" - Basel Committee for Banking Supervision The birth of BCBS239 BCBS 239 is Standard No. 239 of the Basel Committee on Banking Supervision, in short the IT version of a set of prudential standards aimed at warding off the specter of a new crisis like that of 2008! BCBS 239 sets out “principles for effective risk data aggregation, and risk reporting...

La crise de 2008 _______________________________________________________ La crise financière dite des « Subprimes » a débuté courant 2008. Elle a laissé place à celle des « Dettes Souveraines ». Cette crise a mis à mal les économies développées du monde entier. Certaines ont mis plus de 10 ans à s’en remettre. Au-delà des causes racine de cet épisode, cette crise a mis en avant des difficultés importantes pour les banques à piloter les risques en s’appuyant sur un reporting pertinent et fiable. Les systèmes d’information et les architectures de données étaient alors peu homogènes, et surtout mal maîtrisés, ce qui rendaient complexes la capacité à consolider les risques par axes d’analyse pertinents, dans des délais appropriés. De là est né « BCBS239 » - Basel Commitee for Banking Supervision La naissance de BCBS239 ______________________________________________ BCBS 239, c’est la Norme N° 239 du Comité de Bâle sur le contrôle bancaire, en somme la déclinais...

  image - Pixabay  Qu'est-ce que le data lineage ? Le data lineage révèle le cycle de vie des données. Il vise à présenter des flux de données complets des sources, à l’exploitation de la donnée par les métiers. Cela inclut toutes les transformations subies par les données jusqu’à leur représentation finale dans des outils de data visualisation. Le data lineage permet aux entreprises de : Suivre les erreurs dans le processing de la donnée, Mettre en œuvre des correctifs, des améliorations avec un risque maîtrisé, Effectuer des migrations techniques, vers le Cloud typiquement, en mesurant les impacts en temps continu, Par la combinaison des différents flux de données, le data lineage permet d’établir une véritable cartographie du Système d’Information partagée à tous, De s’assurer que les données proviennent d’une source fiable, et qu’elles ont été processées correctement, etc. La traçabilité des données joue un rôle important lorsque les décisions stratégiques repose...

Photo : Pixabay  La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises. Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc.       L’ observabilité des données, c’est quoi ? En termes simples, l'observabilité des données fait référence à la surveillance de la progression du cycle de vie d'un flux de données depuis les sources opérationnelles jusqu'à leur exposition (i.e. leur consommation) , ce à travers tout le cycle de transport/transformation. Avec l'observabilité des données, il devient possible de connaître les incomplétudes ou les erreurs potentielles qui sont sous-jacentes à la phase de consommation.   Exécuter un programme de gouvernance des données Lorsque les utilisateurs accèdent aux données d’une entreprise, ils ne doivent pas accéder qu’à un...