Le data lineage et l’usage des données pour transformer un système : simplifications / migrations

  image - Pixabay  Qu'est-ce que le data lineage ? Le data lineage révèle le cycle de vie des données. Il vise à présenter des flux de données complets des sources, à l’exploitation de la donnée par les métiers. Cela inclut toutes les transformations subies par les données jusqu’à leur représentation finale dans des outils de data visualisation. Le data lineage permet aux entreprises de : Suivre les erreurs dans le processing de la donnée, Mettre en œuvre des correctifs, des améliorations avec un risque maîtrisé, Effectuer des migrations techniques, vers le Cloud typiquement, en mesurant les impacts en temps continu, Par la combinaison des différents flux de données, le data lineage permet d’établir une véritable cartographie du Système d’Information partagée à tous, De s’assurer que les données proviennent d’une source fiable, et qu’elles ont été processées correctement, etc. La traçabilité des données joue un rôle important lorsque les décisions stratégiques repose...

Photo : Pixabay  La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises. Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc.       L’ observabilité des données, c’est quoi ? En termes simples, l'observabilité des données fait référence à la surveillance de la progression du cycle de vie d'un flux de données depuis les sources opérationnelles jusqu'à leur exposition (i.e. leur consommation) , ce à travers tout le cycle de transport/transformation. Avec l'observabilité des données, il devient possible de connaître les incomplétudes ou les erreurs potentielles qui sont sous-jacentes à la phase de consommation.   Exécuter un programme de gouvernance des données Lorsque les utilisateurs accèdent aux données d’une entreprise, ils ne doivent pas accéder qu’à un...

    Image : Pixabay  Qu’est-ce que le PUE ? What is PUE? The acronym is not well known in the world of IT. It must begin to be understood by data center experts. But in these times, it risks being put on the front of the stage. IT weighs more and more heavily on the front of greenhouse gas (GHG) emissions, and the storage of information has a significant part of it. The European Commission has estimated data center consumption in Europe at 76.8 TW/H, i.e. 2.7% of EU electricity demand, with a projection of 100 MW/H in 2030, i.e. an increase of 28% . In this time of massive switch from infras to the cloud, it was important to define the possible benefits of this storage mode also according to a “Green IT” approach. PUE is defined by dividing the amount of energy needed to run a data center, and the energy needed to run the “equipment” it contains:   Since the energy required to operate servers is relatively intangible when the equipment is recent, data center man...

  Image : Pixabay  Qu’est-ce que le PUE ? L’acronyme n’est pas de plus connu dans le monde de l’IT. Il doit commencer à l’être par les experts datacenters. Mais par les temps qui courent, il risque d'être mis sur le devant de la scène.   L’IT pèse de plus en plus lourd sur le front des émissions de gaz à effet de serre (GES), et le stockage de l’information en a une part non négligeable. La Commission Européenne a chiffré à 76,8 TW/H la consommation des datacenters en Europe, soit 2,7% de la demande électrique de l’UE, avec une projection à 100 MW/H en 2030, soit une progression de 28%.  En ce temps de basculement massif des infras vers le cloud, il était important de définir les éventuels bénéfices de ce mode de stockage également selon une approche « Green IT ». Le PUE est défini en divisant la quantité d’énergie nécessaire à faire tourner un datacenter, et l’énergie nécessaire pour faire fonctionner l’ « équipement » qu’il con...

  Les impacts du numérique sur le climat  Comme chacun sait, le climat subit une transformation significative et exceptionnelle, en raison de sa rapidité inédite, de son origine liée aux activités humaines, et de ses effets amenés à connaître une augmentation exponentielle. Le numérique est plus émetteur que l’aviation civile en termes d’émissions de gaz à effet de serre (GES), et sa dynamique ( !) est exceptionnelle. Son impact augmente d'environ 8 % par an soit un doublement tous les 9 ans, ce qui dans certain scenario laisse imaginer qu’il occuperait une part de 7 % en 2025, voire de 15 % en 2040 de l’émission mondiale de GES. Le numérique sera donc chaque jour une peu plus au centre de l’attention. Dans un article publié en 2018, le Journal du CNRS (France) estime que l'ensemble des technologies numériques (ordinateurs, data centers, réseaux…) consomment 10% de l'électricité mondiale. 30% de cette consommation électrique vient des équipements terminaux, 40% ...

  Faced with a "legacy system" that prevents movement,  what to do?  Companies that have made heavy investments in digital transformation programs often find that the slider of said transformation has not moved at the expected pace! (Too) many answers have been developed historically with technologies that now belong to the past: legacy systems. And unfortunately the dependence on these technologies is strong, because these systems contain the data that companies need to make decisions today, and surely those of tomorrow! More than ever, this strong dependence on legacy systems is one of the major obstacles in the path strewn with pitfalls of digital transformation. IT services are heavily involved with sometimes incompatible injunctions: movement towards Cloud platforms, simple replacement of dated application solutions with SaaS software, launch of major legacy modernization programs, etc. All this while ensuring real continuity of service. Good luck ! Start by not rush...