Le data lineage et l’usage des données pour transformer un système : simplifications / migrations

    La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "observabilité des données" sont une option.     

  Data Observability,   Buzzword or necessity?   The quality of data used in daily operations plays a key role for businesses.    A 2022 Gartner study suggests that “bad data” costs organizations approximately $12.9 million per year.  The UK government's Data Quality Hub estimates that organizations spend between 10% and 30% of their revenue on data quality issues, which can cost hundreds of millions of dollars for leading businesses.  As early as 2016, IBM estimated that poor data quality cost American businesses $3.1 trillion per year. ... Everyone wants to rely on data integrity to avoid simple errors related to feeding problems in feeds, or poorly organized, replicated data, etc.  But how ?    “Data observability” techniques are one option.      What is data observability?   Simply put, data observability refers to   “monitoring the progress of the lifecycle of a data flow from operational sources to exposure (i.e. consumption)”  throughout the entire cycle. transport/processin