Best of de la fiche pratique
Le déploiement rapide des services d’IA Générative pose de nouveaux défis pour les équipes FinOps« FinOps et IA/FinOps avec d'autres providers »
Retour
Pour accéder à ce contenu,
veuillez saisir vos coordonnées :
1 - FinOps et IA (voir page 4)
La facturation des services LLM est assez complexe et nécessite une bonne compréhension des nouveaux inducteurs de coûts. Elle repose sur 5 mécanismes principaux :- Le paiement à l’utilisation, lié au nombre de jetons (ou images pour les générateurs d’images) traités par les modèles,
- Variantes de modèle : les modèles de LLM ont des tarifs différents selon leur capacité, et un coût du jeton plus ou moins élevé,
- Le Niveau d’utilisation : l’augmentation du volume de jetons traités peut permettre de profiter de remises au volume,
- La Réservation, pour acheter un nombre défini de jetons à l’avance à un tarif réduit. Mais il n’est pas possible de réduire la capacité réservée, ce qui peut engendrer des coûts pour des capacités non utilisées,
- Il ne faut pas oublier les coûts supplémentaires liés au stockage des données, leur transfert sur les réseaux, et d’autres services connexe.s
2 - Estimer et comprendre les consommations de l’IA (voir page 6)
Pour déployer la plateforme IA, il est crucial de déterminer le nombre de tokens requis pour chaque service souhaité, et préciser :
- Le Modèle ou service d’IA cible,
- Le nombre d’utilisateurs simultanés,
- La Volumétrie des utilisations, le nombre de requêtes quotidiennes,
- Le nombre d’unités estimées, en comptabilisant les flux sortants et les flux entrants,
- Le calibrage des services à déployer : base de données, calcul VM + App Service, stockage…
3 - L’IA au service du FinOps (voir page 8)
Les modèles d’IA de type Machine Learning peuvent être utilisés pour prévoir la consommation. Selon les membres du GT, les fournisseurs de cloud proposent des mécanismes d’alerte jugés assez basiques, voire pas suffisamment fiables. Cependant, recourir à des outils intégrant de l’IA Générative apporte la facilité d’un dialogue en langage naturel, adapté aux utilisateurs peu expérimentés sur FinOps.Cependant, l’utilisation exclusive de données techniques et de facturation s’avère insuffisante ; il est nécessaire de compléter ces informations par des connaissances acquises auprès des équipes sur les contextes applicatifs et projets afin de produire des analyses pertinentes.
4 - Approche FinOps sur 5 Cloud Providers, et sur le On-Prem (voir page 12)
Si les Big 3 (AWS, AZURE et GCP) proposent une section de management des coûts très riche en fonctionnalités et ouverte via des API ou autres composants pouvant automatiser la gestion des coûts, les membres du GT détaillent leur expérience sur 5 autres fournisseurs : OVH, Oaracle Cloud Infrastructure, Outscale, et quelques applications SaaS.Le GT apporte son éclairage sur l’intérêt de déployer des outils FinOps sur des services proposés on-Premises. Ils reconnaissent que « faire du FinOps dans le cloud est plus riche et plus complexe que sur le on-premises », et que « l’industrialisation des coûts peut s’avérer longue et périlleuse à mettre en place avec ou sans outillage ».
Cependant, la mise en œuvre du FinOps on-premises ou dans d’autres clouds peut être intéressante pour de nouveaux projets (conteneurisation, IA, évolution de la virtualisation, sécurité, …).
5 - Les espoirs portés sur la Norme FOCUS (voir page 16)
Le projet FOCUS (FinOps Open Cost & Usage Specification) est parrainé par la FinOps Foundation, Son objectif principal est de définir un format commun pour les données de facturation du cloud. Il permet aux organisations de mieux comprendre les modèles de coût et d’utilisation, et d’optimiser les dépenses et les performances dans plusieurs offres de services cloud, SaaS et même locales. La version 1.3 a été annoncée fin 2025. Actuellement Focus est développé autour des cloud suivants (AWS, Azure, GCP, OCI et Tencent)
👉 Pour lire l’intégralité de la fiche pratique, téléchargez-la depuis la bibliothèque de votre plateforme : ici.
Autres articles sur le même thème
Faire vivre une communauté régionale de pairs
"Le cercle des participants à notre matinale s’étend souvent bien au-delà de la région, en fonction des thèmes que nous abordons"
Bertand DELAUNAY, CTO du Groupe Rocher
Bertand DELAUNAY, CTO du Groupe Rocher
Mag #35
Lire l'article
CRiP Grand-Ouest : quand proximité, confiance et partage d’expertise créent de la valeur pour les membres.
"Nul besoin d’attendre la prochaine matinale en Région, nous nous contactons directement pour poser les questions qui nous préoccupent"
Arthur Clerfeuille, Responsable de la Plateforme Technologique Groupe à la MAIF
Arthur Clerfeuille, Responsable de la Plateforme Technologique Groupe à la MAIF
Mag #35
Lire l'article
