Traiter la "dette IT" en 2 temps

 

Traiter la "dette IT" en 2 temps

La "dette IT" - pourquoi ?

La "dette" par les approximations La vitesse confine souvent à la précipitation. On demande aux développeurs d’aller de plus en plus vite pour construire de nouvelles réponses. L'empilement des approximations crée à moyen / long terme des problèmes techniques difficiles à résoudre. C'est de la "dette" technique.

La "dette" par la complexification des systèmes  Le nombre d’éditeurs et le nombre de solutions techniques se multiplient à une vitesse phénoménale. La cloudification, le SaaS, ont été de formidables facteurs de modernisation, mais aussi de complexification. On n’a pas eu le temps de "fermer" une porte technologique que 5 autres se sont ouvertes. Il faut courir après des compétences de plus en plus rares pour gérer les technologies les plus anciennes. Et on ne parle même pas de les décommissionner .  Du coup, on mise sur la compatibilité technologique ascendante pour continuer à épaissir le "millefeuille" sans trop risquer de le voir s'écrouler. Encore une fois, on créé de la "dette technique".

On estime qu'environ 40 % du temps des développeurs est consacré à la maintenance des systèmes ! Ce chiffre peut aller jusqu'à 60%​...   Software Engineering Stack Exchange  - Radixweb​ "Maintenance" vs "Développement",  tendance générale

Mais qui est prêt à rater les trains technologiques pour se consacrer tranquillement à expurger les systèmes de toutes les obsolescences et approximations, i.e. de toute la "dette" ? Pas grand monde.   Cependant, il existe des solutions.

1- Remédiation ? Un système maîtrisé par tous, car cartographié en continu

Nous pensons qu’il est indispensable de porter à la connaissance de chacun l’ensemble des processus qui sont à l'œuvre au sein d’un data system : d’où vient la donnée, où elle va, qui l’utilise, comment elle est processée, avec quels outils, comment elle est stockée, et quelles sont les règles de gestion qui y sont appliquées, etc. Et en continu.

Le data lineage, basé sur l’analyse du traitement de la donnée, de son stockage, de son ordonnancement et de sa consommation (reporting et requêtes), permet de dresser un portrait exhaustif d’un système. La compréhension du système peut être partagée à tous, même lorsque les technologies sont anciennes et que les chaînes sont complexes.

2 moteurs de recherches sont mis à disposition pour investiguer des flux complets, dans les couches d'alimentation et dans les technologies de data visualisation : un pour les technologies legacy, "on premise", l'autre pour les technologies Cloud. Les ruptures dans les flux et toutes les couches d'abstraction sont traitées, pour une vision holistique du système.  Plus rien n'est soustrait à la connaissance des équipes. Il n'y a plus de "black box", la dette technique devient moins problématique.   Film : 3'

2- Remédiation ? Un modèle pivot en SQL pour standardiser et moderniser un système

L'empilement technologique n’est pas une fatalité. Le SQL, qui avait été marginalisé avec l’avènement des ETL/ELT, revient en force dans le Cloud avec de nombreuses déclinaisons.  Pourquoi ? Robustesse, scalabilité, maîtrise par le plus grand nombre, etc.

Dans cette logique, nous avons développé un moteur agnostique de génération de SQL à partir de technologies ETL/ELT, et de technologies de dataviz. Ce moteur permettra une migration "As Is" de toute l'intelligence du système source vers du SQL à plat, sans subqueries, dans le système corporate cible.  Le "désordre" sera largement atténué, le système deviendra mécaniquement infiniment plus homogène.

Cette base permettra la factorisation, la simplification, les adaptations. En somme, il devient possible de casser les verrous toujours plus nombreux des systèmes composés de solutions propriétaires.

Conclusion  Pour résoudre les défis technologiques posés par l'accumulation de "dettes" techniques et la complexité croissante des systèmes, il est essentiel de cartographier et de comprendre l'ensemble des processus appliqués aux données. Par ailleurs, la standardisation en SQL offre une solution robuste et évolutive pour simplifier et homogénéiser ces systèmes. En transformant les chaînes de traitement complexes en SQL, on rend possible la maîtrise des systèmes et on facilite leur maintenance, réduisant ainsi leur obsolescence et les approximations techniques.