Le data lineage et l’usage des données pour transformer un système : simplifications / migrations

  Moving from  DataStage  to  SQL in  ETL  mode  ELT  mode  with a containerized buffer database Some companies are considering moving away from DataStage, IBM's popular ETL. The reasons are sometimes linked to licensing costs or process maintainability issues.  But this shift mainly responds to an increasingly pressing need for performance and scalability  : processes managed by historical ETLs (such as DataStage) tend to decline in favor of simple SQL or quasi-SQL processing in modern databases (such as BigQuery, Snowflake, Redshift, etc.), or via lighter ETL processes.   It is possible to automate the transition from DataStage to simple SQL or enriched SQL, in ELT mode. However, issues of readability and efficiency of the target database may arise. They can be addressed by parallelizing processes on a third-party container, within modern databases, in ETL mode.   We'll explain it to you.    Stages 1: Convertin...

Passer de   DataStage  au  SQL  en mode  ETL  ou en mode ELT  avec une base tampon conteneurisée Certaines entreprises envisagent de quitter DataStage, le célèbre ETL d’IBM. Les raisons sont parfois liées aux coûts de licence ou aux enjeux de maintenabilité des processus.  Mais ce glissement répond surtout à un besoin de plus en plus pressant de performance et de scalabilité  : les processus gérés par les ETL historiques (tels que DataStage) tendent à reculer au profit de traitements en simple SQL ou en quasi SQL dans des bases de données modernes (comme BigQuery, Snowflake, Redshift, etc.), ou via des processus ETL plus légers.   Il est possible d’automatiser la transition de DataStage vers du simple SQL ou du SQL enrichi, en mode ELT. Cependant, des enjeux de lisibilité et d’efficacité de la base de données cible peuvent se poser. Ils peuvent être adressés par la parallélisation des processus sur un conteneur tiers, au sein de bases de...