Talend-dbt Migration: a passport to modernize data

 

Talend-dbt Migration:

a passport to modernize

data

Talend ETL is very well known for its OS version, “OS” for Open Studio 😊. 

Talend, the publisher of the eponymous ETL, was acquired by Qlik in May 2023.

The free version of Talend ETL ("TOS") is no longer distributed since early 2024. This implies that "TOS" is no longer maintained or updated.

Talend Data Fabric, the paid version of “TOS”, is taking over, with better support, new features, etc.

Many companies that had chosen "TOS" are considering leaving the platform to escape the paid model, among other reasons. 

In addition, a tool called "dbt" (Data Build Tool) is experiencing dizzying growth.

In this article, we explain how to consider a transition from TOS to dbt. 

 

ETLs​

including Talend, are generally less popular. 

The end of ETLs? 

 

ETLs, which allow the data transformation process to be "outsourced" to third-party machines, and therefore "relieved" by databases, have less added value with the advent of powerful Cloud databases, such as BigQuery, Snowflake, Redshift and others.

With an ELT, transformations are performed directly within the DWH.

The incomparable added value of SQL 

 

Workflows designed with ETL interfaces are easy to learn, but rigid, whereas the latest generation ELT frameworks, in “quasi” SQL, have great flexibility and use a universal language: SQL (or dialects of SQL) 😊 !

 

 

dbt,

it's what ?

Parmi les frameworks connaissant la croissance la plus soutenue, il y a dbt (de dbt Labs), né en 2016 avec déjà 3500 entreprises utilisatrices !

 

Quelques-unes de ses caractéristiques :

  • dbt permet de modulariser le SQL en utilisant des modèles (« models ») et des macros (via Jinja).
  • dbt utilise de simples fichiers YAML pour gérer des configurations / définir les dépendances et spécifier les relations entre les modèles (dans un DAG  : Directed Acyclic Graph).
  • Les tests de qualité sont définis dans les fichiers YAML.
  • dbt est versionné avec Git, l’outil de versioning le plus utilisé dans le monde.

….

Et dbt propose une version open source (dbt Core), et donc un modèle « freemium» qui d'ailleurs avait permis l'éclosion rapide de Talend il y a quelques années...

Au-delà de cette migration de Talend vers dbt qui peut faire consensus, la forte profondeur d’historique de la plateforme source, avec des flux intriqués qui ont pu foisonner pendant des années, implique que la migration sera nécessairement un challenge complexe.

En tous cas, en mode « papier / crayon » 😊. 

 

Nous pensons que l’automatisation de cette migration s’impose. 

Voir aussi : 

 

Migrer de Talend à dbt 

en automatisant le processus 

Définir ce qui doit être migré

 

{openAudit}  analyse les flux de données et les croise avec les usages de la donnée, pour ne migrer que ce qui doit l’être et pour définir une roadmap par métier.

 

Comment : 

  • Analyse des flux : {openAudit}  analyse les processus internes via un data lineage physique, au champ, dans la base de données en source et dans Talend : analyse des vues, des vues imbriquées et des autres scripts associés à l'alimentation des flux.  
  • Analyse des usages de la donnée : {openAudit} analyse certains logs des bases d'audit, pour la consommation et l’injection des données.

Conversion des logiques de Talend en SQL avec {openAudit}

 

  • Ordonnancement des transformations élémentaires : {openAudit} détecte les sources, les cibles, les filtres et les logiques de transformation de l’ensemble des Jobs et sous-Jobs Talend, et isole les transformations qui seront portées vers dbt. 
  • Conversion en SQL : les transformations de Talend sont converties en requêtes SQL par {openAudit}, étape par étape.
  • Points de contrôle : chaque étape SQL correspond à une étape du Job en source, ce qui permet à {openAudit}  d'introduire de vrais points de contrôle.

Conversion des logiques ETL de Talend vers la logique de dbt

 

  • Adaptation to dbt: the generated SQL can be adjusted by {openAudit} to adapt to the syntax of dbt & BigQuery (for example) -  Option: adding models in the project configuration, defining dependencies between models.
  • Tests:  SQL tests in "dry run" in the target database with {openAudit} . -  Option: data tests to guarantee their integrity. 
 

See also: 

 

CONCLUSION 

The transition from Talend to dbt represents a strategic ambition for companies that want to adopt lightweight, flexible solutions and want to leverage the power of the latest Cloud architectures.

With {openAudit} , this migration is optimized upstream, and the precise conversion of ETL logic into SQL can enable this “move” in a short time frame and on a fixed-price basis.

Rigorous testing will ensure the reliability of the migration.

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Migrer de SAP BO vers Power BI, Automatiquement, Au forfait !

Image
Migrer de SAP BO  vers  Power BI , Automatiquement, Au forfait Ellipsys a accompagné le Groupe ADEO / Leroy Merlin dans la simplification massive de sa plateforme SAP BO puis dans la migration du patrimoine utile vers Power BI (et Looker) en automatisant le processus, au forfait. Nous vous en partageons les principaux aspects.       SAP BO  : une feuille de route incertaine SAP Business Objet détiendrait plus de 5 % de part de marché sur le marché de la BI avec presque 30,000 clients dans le monde (6Sense).   Or la plateforme navigue dans un flou certain : La version 4.2 atteindra la fin du support « priorité 1 » fin 2024. La version 4.3 devrait être prise en charge jusqu'à fin 2027, avec une maintenance standard se terminant fin 2025.  SAP prévoit de publier la première version de SAP Business Objects BI 2025 au quatrième trimestre 2024. On n’en connaît pas très bien les contours.  Mais ce qui est précisé, c’est que certains composants ...
Lire la suite

La Data Observabilité, Buzzword ou nécessité ?

Image
    La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "obse...
Lire la suite

BCBS 239 : L'enjeu de la fréquence et de l'exactitude du reporting de risque

Image
  BCBS 239 :    L'enjeu de la fréquence et de l'exactitude du reporting de risque.  La BCE a publié un guide en juillet 2023 pour repréciser ses attentes dans le cadre de BCBS 239. Elle prévoit de renforcer le dispositif de supervision en matière de qualité des données.   L'objectif global de la norme BCBS 239 est de renforcer les capacités d'agrégation des données de risques des banques, et les pratiques internes de reporting de risques, améliorant ainsi les processus de gestion des risques et de prise de décision dans les banques. « La bonne information doit être à disposition pour les bonnes personnes et au bon moment ».   La mise en œuvre de BCBS 239 n'est a priori pas simple.   Pourquoi ? Malgré cette surveillance prudentielle accrue,  la BCE n’a toujours pas constaté de progrès suffisants en 2023 :  "le dispositif data quality et reporting risques ne reçoit pas encore le niveau d’attention approprié de la part des banques".   Nous ...
Lire la suite