Remove regressions: identify unnecessary tables and views!

 

  •  

    Remove regressions between IT environments


    Delete unnecessary tables and views! 
     
         The profusion of tables and views
     
     
    Many companies dream of being “data driven”. And rightly so.

    More and more data is collected by more and more means by taking advantage of Cloud architectures, which are infinitely scalable.

    This data is largely exploited by data scientists who must build new "business insights", and who legitimately ask IT to make more and more data available.

    Often, the data is replicated, by retouching at the margin and this phenomenon is accentuated during the implementation of “data mesh” architectures in the Cloud.

    On the IT side, data engineers do not always resume the work of their predecessors, often starting developments "from scratch". And the imperatives of speed increase this drift.
     
     
          The impact on deployments  
     
     

    Forester indicates in a 2022 survey that between 60% and 73% of all data in a company is not useful for analytics!
     
    When it comes to organizing deployments, IT teams will find themselves moving “dead matter” unnecessarily from one environment to another. Shame.
         
         
        Our technical approach  
         
         
             
             "Le data lineage"
                         &
          "Uses of information",
                   To identify 
        unnecessary tables and views! 

         
        {openAudit} specializes in dynamic reverse engineering of data processing technologies and log analysis.

        1 - Analysis of logs to identify tables that have a use:

        {openAudit} will detect through the logs all tables and views
        that actually feed dataviz solutions. The scan of dataviz solutions makes it possible to know which "physical" data are in source (i.e. a table/field of a DB, an Excel doc, a webservice etc...) of the dashboards, which are queried via ad hoc queries.

        2 - The data lineage to identify all the sources of the tables that have a use:

        • {openAudit} analyzes views; views of views, etc.,
        • {openAudit} manages dynamic procedures by processing the dynamically constructed SQL based on the logs of the DB, or the tool that generates these queries,
        • {openAudit} fix other break generators in the lineage: FTP transfers, cursors, subqueries, etc., by various internal mechanisms,
        • {openAudit} processes SQL wrapped in ELT/ETL jobs which creates a lot of opacity,

        Even when processing technologies are intertwined (ELT/ETL, object/procedural languages, Cloud/on prem'), {openAudit} makes it possible to recreate overall consistency. Some tools (ETL/ELT) offer data lineage on their perimeter, but are unable to connect other data lineage tools to it, or even to associate analyzes between projects.


        Thus through this data lineage, coupled with the analysis of the logs, all the tables | useful views vs those that are "informational dead ends" are identified (up to 50%!), ...

        ... And can be decommissioned!
         
         
              ... for ever easier changes of environment
         
         
        We saw that it was possible to generate a unique hash per table | view including the order of the fields, the types of fields, the normalization of the script of the views to control the changes of environment 
         
         
        This precise control, associated with the detection and mass eviction of tables & views that have no use, will significantly simplify these environment switches.
         
         
        Film : erase IT debt - 1' 


        data lineage
         

      Commentaires

      Enregistrer un commentaire

      Posts les plus consultés de ce blog

      Migrer de Oracle à Postgre en automatisant le processus !

      Image
          Migrer de Oracle à Postgre en automatisant le  processus, au forfait  ! De nombreuses entreprises quittent Oracle pour PostgreSQL   Oracle Database a la réputation d'être coûteuse en termes de licences et de support.  Cette politique de tarification peut rendre Oracle moins attrayante pour certaines entreprises. Bloomberg note une baisse des ventes de nouvelles licences chez Oracle. Baisse qui se perpétue depuis 7 trimestres.    En face, on a la base de données PostgreSQL,  qui est gratuite, que l’on peut modifier et distribuer, qui a la réputation d’être fiable et stable, avec une bonne gestion des transactions... Tous ces éléments la rendent appropriée pour des applications critiques où la cohérence des données est essentielle. PostgreSQL prend en plus en charge une grande variété de types de données, y compris des types géospatiaux, JSON, etc., ce qui la rend adaptée à la manipulation de données complexes et variées.     Postgre est maintenant la 4ème base de données la plus
      Lire la suite

      Sur-administrer une plateforme SAP BO simplement

      Image
      I- Introduction  _______________________________________ Courte histoire de SAP BO :  La Business Intelligence existe depuis 30-40 ans. Business Object, vient de souffler ses 30 bougies (1990). Pratiquement aux origines ! L’idée géniale des inventeurs :  rendre intelligible la donnée, et la mettre à portée de clic pour le métier.           Au départ, dans chaque entreprise qui implémente SAP BO, il y peu d’utilisateurs, mais très vite les plateformes sont dépassées par leur succès. Des Business Analysts viennent s’interfacer. La complexité, et même l’hyper complexité deviennent la norme. Et la confiance s’étiole. Les versions (BO 3.0…. 6, XI, XI R3, 4.0,1,2,3 …) se sont enchainées sur quasi 30 ans sans véritablement bouleverser le concept de départ même si la version Cloud (SAP Analytics Cloud) vient de voir le jour.    SAP BO vs « les tendances de marchés » : Le métier veut de l’autonomie, veut pouvoir jouer dans d’immenses « bacs à sable » de données, et obtenir des réponses instanta
      Lire la suite

      La Data Observabilité, Buzzword ou nécessité ?

      Image
          La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "observabilité des données" sont une option.     
      Lire la suite