Migration de Teradata vers GCP - le use case ADEO LEROY MERLIN

 
 
Passer de
Teradata
à GCP ?  
 
Le défi relevé par ADEO/Leroy Merlin
 
 
La sortie de Teradata - un défi technique 
 
 
Teradata, c'est une « appliance » choisie par d'innombrables acteurs. La spécialisation de Teradata dans le Datawarehousing / l’Analytics ont permis la mise en œuvre de solutions avec des capacités de calcul hors norme, et une forte scalabilité. Mais la plupart des acteurs sont maintenant dans une logique de bascule vers le Cloud. Et peu ont opté pour Teradata Vantage, la solution Cloud de Teradata.

Le groupe ADEO/Leroy Merlin (120 000 collaborateurs dans le monde) a décidé de basculer son patrimoine Teradata vers Google Cloud Platform (Big Query), ainsi que de migrer un certain nombre de technologies de data visualisation (SAP BO, PowerBI) - d'autres techno devant monter en charge sur la plateforme cible (Looker, Data Studio). 

Mais les difficultés techniques d'un tel projet sont nombreuses :
  • Comment définir en temps continu l'existant avec toutes ses dépendances ;
  • Comment savoir ce qui a été migré, ce qui reste à migrer, comment comparer les réponses ;
  • Comment de pas créer de "ruptures de charge" ;
  • Comment permettre aux équipes de data engineers d’avoir collectivement la maîtrise du processus de migration ; ...
 
Etape #1 : 
Maîtriser Teradata pour un décomissionnement contrôlé. 
 
 
 
openAudit® va analyser quotidiennement la plateforme source Teradata :

En s'appuyant sur des parsers et de sondes qui travaillent en continue, openAudit® permet une analyse quotidienne ultra granulaire du patrimoine Teradata, ainsi que de toutes les solutions de data visualisation qui y sont raccordées.
 
Dans le détail, openAudit® va mettre en lumière : 
  • Les processus internes via un data lineage physique, au champ, dans Bteq, mais aussi Stambia, les Vues, les Macros, les autres scripts associés à l'alimentation des flux ; 
  • Les usages de l'information, via une analyse des logs des bases d'audit ;  
  • L'ordonnancement des tâches ; 
  • Les impacts dans les outils de data visualisation qui sont associés à Teradata (dans le cas présent : PowerBI, SAP BO...), pour entrevoir la complexité afférente (règles de calcul), et pour pouvoir faire du data lineage réellement de bout en bout.
     
    Etape #2  : 
    Maîtriser tout à la fois le déploiement dans GCP, pour une montée en charge harmonieuse. 
     
     
     
    openAudit® va parallèlement analyser en continu la plateforme cible - GCP :
     
    Au même titre que la plateforme source, openAudit® va opérer différentes actions sur la plateforme cible pour en mesurer l'évolution au cours de la migration, et au-delà :  
    • Parsing dynamique de BigQuery, des requêtes schedulées, des scripts des vues, et des fichiers de chargement type Json, CSV, ... , pour construire des flux intelligement ; 
    • Analyse des logs dans Google Cloud’s Operations (Stackdriver) pour d'emblée connaître les usages de l'information ; 
    • Introspection de certaines technologies de data visualisation "cibles" qui reposent sur GCP (Looker, Data Studio, BO Cloud, PowerBI ...), pour pouvoir y reconstruire l’« intelligence » en comparant les réponses ; 
     
    Par ailleurs, les connecteurs peuvent être migrés vers bigQuery (cas des connecteurs avec une détérioration des performances via le middleware hyper-Q de datometry). 
     
     
    Pour une compréhension optimale des mutations du système d'information, nous mettons à disposition une cartographie multi-plateforme (source et cible), qui présentera les flux et les usages avec un niveau de granularité variable :
       

       
      Conclusion : 
       
      Nous ne pensons pas qu'une migration d'une telle ambition puisse s'organiser à coup de "kick off", et de "dead lines", mais dans un processus intelligent qui repose sur une véritable maîtrise de la plateforme source / et de la plateforme cible, via une introspection technique continue des processus et des usages, et une représentation graphique "des" systèmes d'information, que chacun pourra comprendre et exploiter.

      Commentaires

      Enregistrer un commentaire

      Posts les plus consultés de ce blog

      La Data Observabilité, Buzzword ou nécessité ?

      Image
          La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "observabilité des données" sont une option.     
      Lire la suite

      BCBS 239 : L'enjeu de la fréquence et de l'exactitude du reporting de risque

      Image
        BCBS 239 :    L'enjeu de la fréquence et de l'exactitude du reporting de risque.  La BCE a publié un guide en juillet 2023 pour repréciser ses attentes dans le cadre de BCBS 239. Elle prévoit de renforcer le dispositif de supervision en matière de qualité des données.   L'objectif global de la norme BCBS 239 est de renforcer les capacités d'agrégation des données de risques des banques, et les pratiques internes de reporting de risques, améliorant ainsi les processus de gestion des risques et de prise de décision dans les banques. « La bonne information doit être à disposition pour les bonnes personnes et au bon moment ».   La mise en œuvre de BCBS 239 n'est a priori pas simple.   Pourquoi ? Malgré cette surveillance prudentielle accrue,  la BCE n’a toujours pas constaté de progrès suffisants en 2023 :  "le dispositif data quality et reporting risques ne reçoit pas encore le niveau d’attention approprié de la part des banques".   Nous avons beaucoup écha
      Lire la suite

      Le data lineage, l’arme idéale pour la Data Loss Prevention ?

      Image
        Le data lineage technique couplé à la détection des usages de l’information permet de savoir au départ de n’importe quelle donnée, qui y accède finalement, et dans quel contexte. Et si c’était un grand pas vers une véritable sécurité informationnelle, une réponse simple et efficace pour la Data Leaks/Loss Prevention ?  La DLP (Data Leaks / Loss Prevention), c’est quoi ?   _______________________________________ « Le terme Data Loss/Leaks Prevention (DLP) fait référence à un ensemble de techniques qui permettent d’identifier, de contrôler et de protéger l’information grâce à des analyses de contenu approfondies, que l’information soit stockée, en mouvement, ou traitée . L’objectif est de limiter la fuite de données sensibles.  Une solution DLP est capable d’identifier les données sensibles, de repérer l’endroit où elle est stockée, de contrôler qui doit avoir accès à ces données et enfin de les protéger, c’est-à-dire d’empêcher toute personne non autorisée à y avoir accès… » W
      Lire la suite