Le data lineage pour Transformer un Système d'Information

 

Le data lineage pour Transformer un Système d'Information :   Simplifications et  Migrations  automatisées   A l’heure de l’accélération de la transformation numérique, des mouvements massifs vers le Cloud, du déferlement du « as a Service », il paraît utile d’être en capacité de comprendre la façon dont les Systèmes d’Information fonctionnent pour se laisser une chance de les transformer en profondeur.    Quand ils sont encore largement "on premise",  leur retro documentation est fastidieuse, faute de temps ou de compétences encore en place.    Ces systèmes legacy sont souvent impossibles à migrer vers le Cloud compte tenu des risques forts de régression.  Et quand ces Systèmes ont été migrés dans le Cloud, ils ont tendance à se complexifier de façon exponentielle (et à coûter de plus en plus cher).     Nous proposons d'en casser la complexité et d'en partager la compréhension en délivrant dynamiquement une cartographie basée sur le data lineage et les usages de l'information.   Nous proposons surtout des réponses pour opérer des simplifications massives et des migrations automatisées vers le Cloud permettant par ailleurs de se séparer de technologies "legacy" souvent enkystées dans les entreprises : Oracle, Teradata, Cobol pour les bases de données par exemple, ou SAP BO et SAS pour les technologies de data visualisation. _____ 1 méthodologie Un reverse engineering automatisé et exhaustif du Système d'Information avec {openAudit}.    {openAudit}, c’est l’association du data lineage technique et de l'analyse des usages de l'information.    Le data lineage technique pour connaître l’origine et le devenir de chaque information, de ses sources à ses usages. Ce data lineage s'appuie sur l'analyse granulaire et continue des flux (code procédural, ETL/ELT, ESB, transformations dans la couche de data visualisation…), L’analyse des logs pour connaître les usages réels de chacune des données : qui y accède, quand, comment.     Cette cartographie est le reflet de l’exact réalité du Système d'Information à l’instant « t ».    Les analyses sont opérées en temps continu, au delta, et sans mobilisation des équipes. Même quand les systèmes sont hétérogènes, hybrides.     Quelques précisions :    {openAudit} analyse les vues ; les vues de vues, etc. ;  {openAudit} gère les procédures dynamiques en traitant parallèlement le run ; {openAudit} fixe d’autres générateurs de ruptures dans le lineage : les transferts par FTP, les curseurs, les subqueries… qui sont gérés par divers mécanismes (reconnaissance structurelle, autres) ;  {openAudit} traite le SQL (ou ses dérivées) encapsulé dans les jobs ELT/ETL ;  {openAudit} traite la couche de data visualisation pour avoir un véritable bout en bout, et pour mettre en lumière toutes les règles de gestion souvent contenues au sein même de la couche de data visualisation.  ...pour 3 réponses majeures  :  ________ Cartographier les Systèmes  d'Information pour en partager           la compréhension  Simplifier les systèmes en identifiant ma matière morte Migrer automatiquement les Systèmes (migrations Cloud..)   Cartographier  Le data lineage permet de connaître le cheminement de chaque information dans le Système de façon ultra granulaire.  Ce data lineage est produit de bout en bout, du système opérationnel jusqu'à la cellule du dashboard, avec un intérêt certain :  Pour partager la compréhension d'un système à tous.  Pour agir en cas de problème sur une chaîne d'alimentation. Pour identifier une expressions problématique dans un dashboard.  Pour identifier la dissémination de l'information  dans le cadre du RGPD.   En savoir plus :  La data observabilité pour transformer un SI  La traçabilité pour BCBS239    Simplifier  Le croisement du data lineage et de l’analyse des usages de l’information permet de détecter les "branches mortes" des systèmes. En moyenne, c’est 50 % qui peut être écarté via des décommissionnements de masse :  tables, vues, code procédural, job ELT/ETL, dashboards, etc.  Pour baisser la complexité d'un système et donc la maintenance.  Pour baisser les coûts dans le Cloud en identifiant les flux inutiles et le processing / stockage qui y sont associés.   En savoir plus :   Baisser les coûts du Cloud - simplifier les systèmes  Supprimers les "branches mortes"    Migrer  Les migrations vers le Cloud ne sont jamais simples. Elles sont même parfois impossibles : coûts rédhibitoires, risques trop fort de régressions. On finit par empiler les technologies et par vivre avec des technologies legacy dépassées.  {openAudit} permet de migrer automatiquement des technologies de stockage de données  : Oracle, Teradata ou Cobol... vers GCP, Azure, ou PostGre. {openAudit} permet aussi de migrer des technologies de data visualisation : SAP BO vers Power BI ou Looker par exemple.           En savoir plus :   Migrer Teradata vers Big Query en automatique Migrer SAP BO vers Power BI ou Looker  Quelques fonctionnalités en vidéo :  Conclusion  La complexité des Systèmes d'Information n'est pas une fatalité, et ne doit plus être un obstacle.  Nous avons la conviction qu'en faisant émerger tous les sous-jacents techniques des systèmes de façon intelligible, ces systèmes peuvent très naturellement s'harmoniser dans le temps.  Cette compréhension fine permet par ailleurs d'automatiser ce qui constitue parmi les plus grands enjeux du moment :  La simplification massive des systèmes pour baisser la maintenance et les coûts, dans le Cloud en particulier ;  Et d'automatiser les migrations techniques, qui pour certaines deviennent des horizons inatteignables, du fait de leurs coûts et de la crainte de fortes régressions.