FinOps: Reduce Cloud Costs by Removing "Dead Branches"!

 

 
FinOps :
Reduce Cloud Costs by Removing "Dead Branches"!
 
Data lineage and analysis of the uses of information to calculate the cost of "living branches" and "dead branches".
For simple and cheaper cloud systems. 

 
 
Intro 

Cloud costs, a real subject! 
____________________________________
 
 
OWe are not going to dwell on the adoption of the Cloud, but we will note that 50% of companies have 100% of their infrastructure in the Cloud (Rackspace Technology 2022, in association with Google Cloud), and the others are thinking about it seriously: end of infrastructure to manage, infinite scalability, often lower costs, etc.

The strengths of the Cloud are also its limits: the systems are ultra-scalable, and the teams have a field day for the greatest benefit of the business. It is also unfortunately the realm of informational inflation that is not always justified, with strong impacts:
  • 7 out of 10 companies do not know exactly what they are spending their cloud budget on (Fortinet 2021).
  • 131 IT professionals say undue cloud spend could account for up to 47% of a cloud budget (Stormforge 2022).
  • ...

Especially since invoicing in the cloud is generally very abstract. And few CIOs really see it clearly.
 
The Google Cloud Platform (GCP) model, which we know well, essentially uses a pay-as-you-go model, which means that customers only pay for the resources they actually use ( data processing).
This prompted us to develop an original, efficient, turnkey FinOps model.

 
 

How to reduce your Cloud bill?
______________________________ 
 
 
FinOps (monitoring and optimization of costs in Cloud computing) mainly consists of using the tools made available by Cloud providers to try to optimize your bill. Overall, we are more on a "task force" model than on a more sustainable "software" model.

We believe that the most obvious, most effective lever for reducing billing consists first and foremost in evicting the countless "dead branches" from the system which are processed unnecessarily.
 
The positive effects induced are potentially numerous: system intelligibility, system security, green IT, etc.
 
 

Methodology (in GCP)
______________________________ 
 
Define the cost of the “living branches” of the system
____________________
 
  
  • {openAudit}, our software, will make it possible to identify the tables/files consumed by people (queries) or by machines, through a continuous analysis of the logs: these are the "uses" of the information. A strong depth of history will allow you to have a very objective view of things.
 
 
  • Starting from the data consumed (tables / files), therefore "uses", the upstream flows are deconstructed to the sources thanks to the data lineage of {openAudit}, which operates simultaneously on different technologies: ETL/ELT, scripts. These are the "living branches" of the system.
 
  • Then {openAudit} identifies the processing costs of each transformation available in the Stackdriver, and adds them for the entire flow.
 
  • By multiplying this mechanism with all the flows, we obtain the full cost of the useful ("consumed") part of the system, ie the "living branches".
 

Define the cost of the "dead branches" of the system
_________________________
 
  • The "dead branches" of the system are simply all those... which are not "living"! They are identified by deduction. 
 
  • {openAudit} establishes their costs in the same way: addition of the processing costs of each transformation identified thanks to the data lineage, and via an analysis of certain Stackdriver logs. Costs are summed for complete streams, then for the entire system.
 
All that remains is to decommission these branches to significantly lower billing! Then do it continuously.
 
 
 

Conclusion

Automate FinOps ! 
________________________________
 
 
It is possible to do FinOps "paper / pencil", but the automation, and the continuous implementation of the process of detection of "dead branches", then the calculation of their costs has the merit of allowing action with objectivity and efficiency.
The system can thus develop harmoniously in a FinOps, GreenOps logic, while minimizing security risks.

#finops #greenops #datalineage

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

La Data Observabilité, Buzzword ou nécessité ?

Image
    La Data Observabilité,   Buzzword ou nécessité ?   La qualité des données utilisées dans les opérations quotidiennes a un rôle prépondérant pour les entreprises.    Une étude du Gartner de 2022 suggère que les "mauvaises données" coûtent aux organisations environ 12,9 millions de dollars par an.  Le Data Quality Hub du gouvernement britannique estime que les organisations consacrent entre 10 % et 30 % de leurs revenus aux problèmes de qualité des données, ce qui peut représenter des centaines de millions de dollars pour des entreprises de premier plan.  Dès 2016, IBM estimait que la mauvaise qualité des données coûtait aux entreprises américaines 3 100 milliards de dollars par an. ... Tout le monde souhaite s’appuyer sur des données intègres pour éviter des erreurs simples liées à des problèmes d’alimentation dans des flux, ou à des données mal organisées, répliquées, etc. Mais comment ?    Les techniques d' "obse...
Lire la suite

Migrer de SAP BO vers Power BI, Automatiquement, Au forfait !

Image
Migrer de SAP BO  vers  Power BI , Automatiquement, Au forfait Ellipsys a accompagné le Groupe ADEO / Leroy Merlin dans la simplification massive de sa plateforme SAP BO puis dans la migration du patrimoine utile vers Power BI (et Looker) en automatisant le processus, au forfait. Nous vous en partageons les principaux aspects.       SAP BO  : une feuille de route incertaine SAP Business Objet détiendrait plus de 5 % de part de marché sur le marché de la BI avec presque 30,000 clients dans le monde (6Sense).   Or la plateforme navigue dans un flou certain : La version 4.2 atteindra la fin du support « priorité 1 » fin 2024. La version 4.3 devrait être prise en charge jusqu'à fin 2027, avec une maintenance standard se terminant fin 2025.  SAP prévoit de publier la première version de SAP Business Objects BI 2025 au quatrième trimestre 2024. On n’en connaît pas très bien les contours.  Mais ce qui est précisé, c’est que certains composants ...
Lire la suite

BCBS 239 : L'enjeu de la fréquence et de l'exactitude du reporting de risque

Image
  BCBS 239 :    L'enjeu de la fréquence et de l'exactitude du reporting de risque.  La BCE a publié un guide en juillet 2023 pour repréciser ses attentes dans le cadre de BCBS 239. Elle prévoit de renforcer le dispositif de supervision en matière de qualité des données.   L'objectif global de la norme BCBS 239 est de renforcer les capacités d'agrégation des données de risques des banques, et les pratiques internes de reporting de risques, améliorant ainsi les processus de gestion des risques et de prise de décision dans les banques. « La bonne information doit être à disposition pour les bonnes personnes et au bon moment ».   La mise en œuvre de BCBS 239 n'est a priori pas simple.   Pourquoi ? Malgré cette surveillance prudentielle accrue,  la BCE n’a toujours pas constaté de progrès suffisants en 2023 :  "le dispositif data quality et reporting risques ne reçoit pas encore le niveau d’attention approprié de la part des banques".   Nous ...
Lire la suite