Migrer un legacy vers le Cloud, puis garder le contrôle !

 

  •  

    Migrer un legacy vers le Cloud, puis garder le contrôle !
  •  
         Migrer un legacy  - un défi technique ! 
     
  •  
    De nombreuses entreprises ont migré vers le Cloud, choisissant massivement les hyperscalers. Pour d'autres, c'est encore un projet, avec de gros écueils qui ralentissent ou qui font largement échouer les projets.  

    Les difficultés techniques d'un tel projet sont nombreuses :
    • Comment définir en temps continu l'existant avec toutes ses dépendances ;
    • Comment savoir ce qui a été migré, ce qui reste à migrer, comment comparer les réponses ;
    • Comment ne pas créer de "ruptures de charge" ;
    • Comment permettre aux équipes de data engineers d’avoir collectivement la maîtrise du processus de migration ;
    • ...
     
  •  
    Etape #1 : 
    Véritablement maîtriser son legacy 

  •  
    {openAudit} va analyser quotidiennement la plateforme source. 

    En s'appuyant sur des parsers et de sondes qui travaillent en continue, {openAudit} permet une analyse quotidienne ultra granulaire du legacy, ainsi que de toutes les solutions de data visualisation qui y sont raccordées.

    Dans le détail, {openAudit} va mettre en lumière : 
    • Les processus internes via un data lineage physique, au champ, dans le langage source (Cobol, Bteq, PL/SQL, autres), mais aussi les jobs de l'ETL/ELT utilisé, les Vues, les Macros, les autres scripts associés aux flux ; 
    • Les usages de l'information, via une analyse des logs des bases d'audit ;  
    • L'ordonnancement des tâches ; 
    • Les impacts dans les outils de data visualisation qui sont associés au Système legacy, pour entrevoir la complexité afférente (règles de calcul), et pour pouvoir faire du data lineage des sources opérationnelles jusqu'à la cellule du dashboard. 
       
    2.  
      Etape #2  : 
      Maîtriser le déploiement dans la plateforme cible. 

    4.  
      {openAudit} va parallèlement analyser en continu la plateforme cible dans le Cloud. 

      Au même titre que la plateforme source, {openAudit} va opérer différentes actions sur la plateforme cible pour en mesurer l'évolution au cours de la migration, et au-delà :  
      • Parsing (= scan) dynamique de BigQuery, Redshift, Azure SQL, autres*, des requêtes schedulées, des scripts des vues, et des fichiers de chargement type Json, CSV, etc., pour construire les flux avec précision.
      • Analyse des logs dans Google Cloud’s Operations (Stackdriver), dans CloudWatch for AWS, dans Monitor for Azure, autres*,  pour d'emblée connaître les usages de l'information. 
      • Introspection de certaines technologies de data visualisation "cibles"* qui reposent sur la plateforme Cloud (typiquement Looker, Data Studio pour GCP, ou PowerBI pour Azure ...), pour pouvoir y reconstruire l’« intelligence » en comparant les réponses ; 

      Pour une compréhension optimale des mutations du système d'information, nous mettons à disposition une cartographie multi-plateformes (source et cible), qui présentera les flux et les usages de l'information. 

      * Certaines de nos réponses sont en cours de développement.
         
      3.  
        Etape #3 : 
        "Traduire" le langage source vers le langage cible  

      5.  
        1.  {openAudit} va « parser » le T-SQL, le PL/SQL, le Cobol, le Perl, et tout autre langage procédural, et va décomposer toute la complexité du code en source,
        2. {openAudit} en déduit la cinématique d’ensemble et l’intelligence, 
        3. Sur cette base, {openAudit} va produire du « SQL standard »,
        4. Puis l’intelligence va être reconstruite a minima dans le SQL spécifique de la base de données cible (qui sont des "dialectes" SQL !),
        5. Tous les traitements complexes non reproductibles en SQL simple, seront pilotés par un exécutable NodeJS. 


        Il est ainsi possible d'accélérer massivement le tempo de sa migration ! 
         
      6.  
        Et une fois dans le Cloud ? 

        Le risque de l'inflation informationnelle avec les architecture Cloud type "Data Mesh" :  

        L’objectif du Data Mesh est de favoriser la flexibilité maximale, pour créer de nouveaux "business insights", avec des données prêtes à emploi, validées par leurs propriétaires fonctionnels. Et c'est efficace ! Certaines entreprises ambitionnent de devenir "data driven", et le Data Mesh est un puissant  catalyseur de cette stratégie.
        Cependant les impératifs de maîtrise du processing de la donnée dans des chaines d’alimentation, de fait hyper intriquées, peut vite devenir un « pain point » et rendre la stratégie périlleuse.

         
      7. Les forces et Les limites du data mesh
      10. L'expérience de ADEO/Leroy Merlin
        Teradata > GCP
        Atelier Salon Big Data Paris 2022



        intervention ADEO/Leroy Merlin x Ellipsys - salon Big Data Paris 2022

      Commentaires

      Enregistrer un commentaire

      Posts les plus consultés de ce blog

      La Data Observabilité, Buzzword ou nécessité ?

      Image
          La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "observabilité des données" sont une option.     
      Lire la suite

      BCBS 239 : L'enjeu de la fréquence et de l'exactitude du reporting de risque

      Image
        BCBS 239 :    L'enjeu de la fréquence et de l'exactitude du reporting de risque.  La BCE a publié un guide en juillet 2023 pour repréciser ses attentes dans le cadre de BCBS 239. Elle prévoit de renforcer le dispositif de supervision en matière de qualité des données.   L'objectif global de la norme BCBS 239 est de renforcer les capacités d'agrégation des données de risques des banques, et les pratiques internes de reporting de risques, améliorant ainsi les processus de gestion des risques et de prise de décision dans les banques. « La bonne information doit être à disposition pour les bonnes personnes et au bon moment ».   La mise en œuvre de BCBS 239 n'est a priori pas simple.   Pourquoi ? Malgré cette surveillance prudentielle accrue,  la BCE n’a toujours pas constaté de progrès suffisants en 2023 :  "le dispositif data quality et reporting risques ne reçoit pas encore le niveau d’attention approprié de la part des banques".   Nous avons beaucoup écha
      Lire la suite

      Le data lineage, l’arme idéale pour la Data Loss Prevention ?

      Image
        Le data lineage technique couplé à la détection des usages de l’information permet de savoir au départ de n’importe quelle donnée, qui y accède finalement, et dans quel contexte. Et si c’était un grand pas vers une véritable sécurité informationnelle, une réponse simple et efficace pour la Data Leaks/Loss Prevention ?  La DLP (Data Leaks / Loss Prevention), c’est quoi ?   _______________________________________ « Le terme Data Loss/Leaks Prevention (DLP) fait référence à un ensemble de techniques qui permettent d’identifier, de contrôler et de protéger l’information grâce à des analyses de contenu approfondies, que l’information soit stockée, en mouvement, ou traitée . L’objectif est de limiter la fuite de données sensibles.  Une solution DLP est capable d’identifier les données sensibles, de repérer l’endroit où elle est stockée, de contrôler qui doit avoir accès à ces données et enfin de les protéger, c’est-à-dire d’empêcher toute personne non autorisée à y avoir accès… » W
      Lire la suite