Le data lineage et l’usage des données pour transformer un système : simplifications / migrations

    The Cloud, an accelerator   of  "data deluge",  Are there any   solutions?  According to a 2022 Salesforce global survey, 33% of CIOs said they were unable to generate value-added insights from their data, and 30% said they were simply overwhelmed by the volume of data produced within the company….   Businesses are ingesting more data than ever before largely thanks to the infinite scalability of the Cloud. The idea is to exploit them to obtain new “business insights”, to personalize experiences, or to meet regulatory requirements, the best known of which is the GDPR.  Connected objects are also a fantastic accelerator for data generation.   But in many cases, these volumes end up being counterproductive, “drowning” truly useful data in terabytes of cold, obsolete, redundant data. IT teams end up spending most of their time introspecting systems to try to master their assets, and IT is no longer doing anything but maintaini...

Executive summary Dans la plupart des entreprises, les données empruntent des routes tortueuses depuis les systèmes sources jusqu’à leur usage finaux. La faute à une multiplication des technologies, à une inflation incontrôlable des volumétries. Les équipes data s’échinent à extraire, ingérer, déplacer, nettoyer, intégrer, agréger les données pour pouvoir adresser les use cases du business. Mécaniquement, se créent des « pipelines de données » qui deviennent vite inefficaces et sujets aux erreurs : les données sont traitées par différentes technologies, sautent de système en système, elles sont répliquées à l’infini, ou encore oubliées dans un coin. Les réutilisations de données, et la factorisation des process sont l’exception. Aussi, le business attend des temps infinis ses réponses, pourtant urgentes. La dataOps promet de rationaliser le processus de création, de modification et de gestion des pipelines de données, au service d’une véritable data governance. Son o...