Migrer un legacy vers le Cloud, puis garder le contrôle !

 

  •  

    Migrer un legacy vers le Cloud, puis garder le contrôle !
  •  
         Migrer un legacy  - un défi technique ! 
     
  •  
    De nombreuses entreprises ont migré vers le Cloud, choisissant massivement les hyperscalers. Pour d'autres, c'est encore un projet, avec de gros écueils qui ralentissent ou qui font largement échouer les projets.  

    Les difficultés techniques d'un tel projet sont nombreuses :
    • Comment définir en temps continu l'existant avec toutes ses dépendances ;
    • Comment savoir ce qui a été migré, ce qui reste à migrer, comment comparer les réponses ;
    • Comment ne pas créer de "ruptures de charge" ;
    • Comment permettre aux équipes de data engineers d’avoir collectivement la maîtrise du processus de migration ;
    • ...
     
  •  
    Etape #1 : 
    Véritablement maîtriser son legacy 

  •  
    {openAudit} va analyser quotidiennement la plateforme source. 

    En s'appuyant sur des parsers et de sondes qui travaillent en continue, {openAudit} permet une analyse quotidienne ultra granulaire du legacy, ainsi que de toutes les solutions de data visualisation qui y sont raccordées.

    Dans le détail, {openAudit} va mettre en lumière : 
    • Les processus internes via un data lineage physique, au champ, dans le langage source (Cobol, Bteq, PL/SQL, autres), mais aussi les jobs de l'ETL/ELT utilisé, les Vues, les Macros, les autres scripts associés aux flux ; 
    • Les usages de l'information, via une analyse des logs des bases d'audit ;  
    • L'ordonnancement des tâches ; 
    • Les impacts dans les outils de data visualisation qui sont associés au Système legacy, pour entrevoir la complexité afférente (règles de calcul), et pour pouvoir faire du data lineage des sources opérationnelles jusqu'à la cellule du dashboard. 
       
    2.  
      Etape #2  : 
      Maîtriser le déploiement dans la plateforme cible. 

    4.  
      {openAudit} va parallèlement analyser en continu la plateforme cible dans le Cloud. 

      Au même titre que la plateforme source, {openAudit} va opérer différentes actions sur la plateforme cible pour en mesurer l'évolution au cours de la migration, et au-delà :  
      • Parsing (= scan) dynamique de BigQuery, Redshift, Azure SQL, autres*, des requêtes schedulées, des scripts des vues, et des fichiers de chargement type Json, CSV, etc., pour construire les flux avec précision.
      • Analyse des logs dans Google Cloud’s Operations (Stackdriver), dans CloudWatch for AWS, dans Monitor for Azure, autres*,  pour d'emblée connaître les usages de l'information. 
      • Introspection de certaines technologies de data visualisation "cibles"* qui reposent sur la plateforme Cloud (typiquement Looker, Data Studio pour GCP, ou PowerBI pour Azure ...), pour pouvoir y reconstruire l’« intelligence » en comparant les réponses ; 

      Pour une compréhension optimale des mutations du système d'information, nous mettons à disposition une cartographie multi-plateformes (source et cible), qui présentera les flux et les usages de l'information. 

      * Certaines de nos réponses sont en cours de développement.
         
      3.  
        Etape #3 : 
        "Traduire" le langage source vers le langage cible  

      5.  
        1.  {openAudit} va « parser » le T-SQL, le PL/SQL, le Cobol, le Perl, et tout autre langage procédural, et va décomposer toute la complexité du code en source,
        2. {openAudit} en déduit la cinématique d’ensemble et l’intelligence, 
        3. Sur cette base, {openAudit} va produire du « SQL standard »,
        4. Puis l’intelligence va être reconstruite a minima dans le SQL spécifique de la base de données cible (qui sont des "dialectes" SQL !),
        5. Tous les traitements complexes non reproductibles en SQL simple, seront pilotés par un exécutable NodeJS. 


        Il est ainsi possible d'accélérer massivement le tempo de sa migration ! 
         
      6.  
        Et une fois dans le Cloud ? 

        Le risque de l'inflation informationnelle avec les architecture Cloud type "Data Mesh" :  

        L’objectif du Data Mesh est de favoriser la flexibilité maximale, pour créer de nouveaux "business insights", avec des données prêtes à emploi, validées par leurs propriétaires fonctionnels. Et c'est efficace ! Certaines entreprises ambitionnent de devenir "data driven", et le Data Mesh est un puissant  catalyseur de cette stratégie.
        Cependant les impératifs de maîtrise du processing de la donnée dans des chaines d’alimentation, de fait hyper intriquées, peut vite devenir un « pain point » et rendre la stratégie périlleuse.

         
      7. Les forces et Les limites du data mesh
      10. L'expérience de ADEO/Leroy Merlin
        Teradata > GCP
        Atelier Salon Big Data Paris 2022



        intervention ADEO/Leroy Merlin x Ellipsys - salon Big Data Paris 2022

      Commentaires

      Enregistrer un commentaire

      Posts les plus consultés de ce blog

      La Data Observabilité, Buzzword ou nécessité ?

      Image
          La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "obse...
      Lire la suite

      Migrer de SAP BO vers Power BI, Automatiquement, Au forfait !

      Image
      Migrer de SAP BO  vers  Power BI , Automatiquement, Au forfait Ellipsys a accompagné le Groupe ADEO / Leroy Merlin dans la simplification massive de sa plateforme SAP BO puis dans la migration du patrimoine utile vers Power BI (et Looker) en automatisant le processus, au forfait. Nous vous en partageons les principaux aspects.       SAP BO  : une feuille de route incertaine SAP Business Objet détiendrait plus de 5 % de part de marché sur le marché de la BI avec presque 30,000 clients dans le monde (6Sense).   Or la plateforme navigue dans un flou certain : La version 4.2 atteindra la fin du support « priorité 1 » fin 2024. La version 4.3 devrait être prise en charge jusqu'à fin 2027, avec une maintenance standard se terminant fin 2025.  SAP prévoit de publier la première version de SAP Business Objects BI 2025 au quatrième trimestre 2024. On n’en connaît pas très bien les contours.  Mais ce qui est précisé, c’est que certains composants ...
      Lire la suite

      Le data lineage, l’arme idéale pour la Data Loss Prevention ?

      Image
        Le data lineage technique couplé à la détection des usages de l’information permet de savoir au départ de n’importe quelle donnée, qui y accède finalement, et dans quel contexte. Et si c’était un grand pas vers une véritable sécurité informationnelle, une réponse simple et efficace pour la Data Leaks/Loss Prevention ?  La DLP (Data Leaks / Loss Prevention), c’est quoi ?   _______________________________________ « Le terme Data Loss/Leaks Prevention (DLP) fait référence à un ensemble de techniques qui permettent d’identifier, de contrôler et de protéger l’information grâce à des analyses de contenu approfondies, que l’information soit stockée, en mouvement, ou traitée . L’objectif est de limiter la fuite de données sensibles.  Une solution DLP est capable d’identifier les données sensibles, de repérer l’endroit où elle est stockée, de contrôler qui doit avoir accès à ces données et enfin de les protéger, c’est-à-dire d’empêcher ...
      Lire la suite