Le SQL en force dans le Cloud ! Et un modèle pivot pour les migrations.

 

Le SQL en force dans le Cloud !   Un modèle pivot pour les migrations d' {openAudit}

Le SQL et ses dérivés avaient été largement évincés au profit des ETL / ELT dans les infras on premise.   Le SQL revient en majesté dans le Cloud pour de nombreuses et très bonnes raisons.   Nous en avons fait aussi un pivot de notre solution {openAudit}, pour transformer les systèmes simplement et efficacement. _____

Les quelques caractéristiques uniques du SQL !

Son modèle relationnel facilite la représentation des données sous forme de tables, ce qui simplifie la gestion et la manipulation des données. C’est particulièrement utile dans des environnements Cloud, dont les 2 grandes vertus sont la scalabilité et la flexibilité.   L’utilisation du SQL permet aux applications de gérer les données sans se soucier du stockage sous-jacent, ce qui simplifie le déploiement sur différentes plateformes Cloud.   Le SQL est un langage standardisé : cela facilite la portabilité des applications et des bases de données entre différentes plates-formes Cloud, en évitant les verrous techniques des Cloud providers. Ça permet aussi de réduire la dépendance vis-à-vis de tel ou tel acteur.   La capacité des bases de données SQL à fonctionner de manière distribuée garantit une scalabilité horizontale efficace pour gérer les workloads importants.   La facilité de maintenance et de gestion des bases de données SQL est un atout dans un contexte Cloud où la gestion des ressources humaines n’est pas toujours simple.

Les hyperscalers  adorent  !  ________ Amazon Redshift, Google BigQuery, et Azure SQL utilisent des « dialectes » du SQL standard adaptés à leurs spécificités tout en restant compatibles avec le SQL de base.  Les différences syntaxiques nécessitent une certaine adaptation, mais la proximité avec le SQL standard reste un avantage significatif.

Le SQL en force : les ELTs supplantent les ETLs

Trois raisons majeures expliquent cette transition : le coût, l'administration et la flexibilité.   Coût : le Cloud a rendu possible la montée en charge des mécanismes ELT (Extract, Load, Transform), en éliminant les coûts élevés des bases de données traditionnelles. Avec un ELT, les transformations se produisent au sein même du DWH, en SQL (vs sur un serveur dédié pour un ETL).     Administration : dans le Cloud, les entreprises n'ont pas besoin d’être accompagnées par des administrateurs de bases de données (DBAs) pour mettre en place des machines pour exécuter la base de données : les Data Warehouse Cloud gèrent l'aspect "administration" en lieu et place des entreprises clientes. Ils facilitent les évolutions au fur et à mesure des besoins.   Flexibilité : les utilisateurs peuvent exécuter des requêtes SQL non seulement sur les données stockées dans le DWH, mais également sur des données stockées dans des bases de stockage « froides » tels que qu'Amazon S3, Google Cloud Storage, etc., où les données sont stockées sous forme de fichiers.

Les hyperscalers  adorent !  ________ BigQuery (GCP) prend en charge l’approche ELT, ce qui permet d’effectuer des transformations directement sur les données stockées en utilisant du SQL et en offrant une architecture de traitement massivement parallèle.  ….Et c’est la même chose dans Amazon Redshift ou dans Azure Synapse Analytics (anciennement SQL Data Warehouse).

Ellipsys, à travers son logiciel {openAudit}, a adopté le SQL comme un allié stratégique !

Ellipsys édite un logiciel, {openAudit}, qui permet de cartographier, de simplifier et de transformer des systèmes complexes.    Le SQL comme technologie pivot pour les migrations de bases de données :  Dans le cadre de migrations de bases de données on premise vers le Cloud, nous automatisons la traduction vers du SQL. Puis nous enrichissons ce SQL avec des exécutables pour le faire « adhérer » le plus précisément possible à la technologie cible.   Le SQL pour simplifier la couche de data visualisation dans le cadre de migration :  Nous sommes aussi dans cette logique pour ce qui concerne la migration de technologies de data visualisation. La plupart d'entre elles  ont accumulé au fil du temps de plus en plus de variables et d'expressions, souvent répliquées. Ce foisonnement peut avoir de vraies répercussions sur la plateforme cible, car il y a autant de refresh que d'utilisateurs. Les temps d’exécution peuvent être (très) longs : reproduction perpétuelle des mêmes requêtes avec des dashboards qui finissent par planter. {openAudit} va identifier les expressions / variables complexes au sein de la couche de dataviz, et va "déplacer" ces requêtes complexes dans les tables et dans les vues des DWH Cloud. Ces requêtes complexes ne seront ainsi jouées qu'une seule fois (puis schedulées) pour tous les dashboards de la solution cible. En somme, on va factoriser et déplacer l’intelligence dans une technologie simple à maîtriser : le SQL

Conclusion  Le SQL joue un rôle central dans l'environnement Cloud, tant au niveau des bases de données que dans l'évolution des méthodes ETL vers des approches plus flexibles et adaptées au cloud. L'utilisation judicieuse de dialectes SQL spécifiques aux bases de données Cloud et l'adoption de nouvelles tendances technologiques contribuent à optimiser la gestion des données dans ces environnements dynamiques. Ellipsys en a fait un allié précieux pour accompagner transformation des Systèmes d'Information.