La stratégie IA par les coûts

C'est assez étonnant mais comprendre les différents types de coût permet aussi d'avoir une vision stratégique pour déployer intelligemment et progressivement l'IA au sein de l'entreprise.

A titre personnel, je considère que pour que la stratégie soit efficiente, il faut fonctionner par propagation de cercles concentriques comme quand vous jetez un caillou dans l'eau et que cela crée des vagues qui se propagent.

Identifier le domaine le plus impactant pour ensuite créer le mouvement qui touchera progressivement chaque pan de l'entreprise est une bonne façon d'arriver avec succès à mettre en place une organisation pérenne qui exploite la puissance de ces nouveaux outils.

Pour autant, cela a un coût et ces coûts associés à la GenAI font partie intégrante de la mise en place stratégique et tactique de l'IA.

Gérer l'IA par les coûts

On entend souvent la fausse idée qui consiste à dire aux directions des entreprises de ne pas se préoccuper des coûts à mettre en oeuvre car l'IA est forcément rentable mais chez Reboot, nous sommes contre cette idée.

Nous avons eu des entreprises avoir des initiatives sporadiques et sans démarche qui font un ou deux projets mais qui resteront localisés dans un coin de l'entreprise sans impacter l'organisation dans son ensemble.

Le jeu en vaut la chandelle mais c'est un investissement et pas uniquement financier. Comme tout, cela demande de bien comprendre les tenants et les aboutissants.

C'est pourquoi, en identifiant les différents coûts, nous comprenons également la mécanique qu'il y a derrière l'IA et donc : ses possibilités mais aussi ses contraintes. Voilà ce que je vous propose d'aborder coût par coût et coup par coup.

Le coût d'inférence

Le coût d'inférence est le coût qui résulte de l'utilisation d'un modèle de type LLM pour générer une réponse.

Forcément, selon le grand modèle utilisé, les coûts varient.

Grosso modo, pour générer la réalisation d'un texte à partir d'un LLM, il y a ce que vous entrez et ce que le LLM va vous répondre. Ces entrées et sorties sont gérées par des tokens (jetons) et forcément, à chaque transaction, les tokens coûtent.

Alors sur des petites transactions, on parle de centimes mais quand on pense en volume, forcément, le coût est bien plus important.

Plus la puissance de calcul est sollicitée, plus le coût est important.

Générer une image implique plus de puissance de calcul que de générer un texte.

L'autre option pour maitriser les coûts serait d'héberger un LLM open source que vous pouvez vous-même entrainer afin d'optimiser le processus d'inférence.

L'avantage notable, c'est que vous avez une maîtrise totale des coûts, l'inconvénient, c'est le coût de la mise en place et, éventuellement, la mise à jour du modèle et/ou l'entrainement du LLM pour améliorer sa performance.

Bien entendu, ici, nous n'abordons que les aspects financiers mais il existe d'autres points dont il faut tenir compte comme les aspects de protection ou de cybersécurité.

Le coût de réglage fin

Le réglage fin (fine-tuning) est le processus d'adaptation d'un modèle d'IA générative pré-entrainé à une tâche ou à un domaine particulier.

Il faut donc fournir les données, entrainer le modèle, prendre en compte la complexité du modèle LLM choisi et itérer l'entrainement.

Ces itérations d'entrainement, on appelle cela « epochs ».

Selon OpenAI, le coût de réglage fin spécifique équivaut à :

Coût de base pour 1000 tokens x Nombre de tokens dans le fichier d'entrée x Nombre d'epochs entrainées

Le coût d'ingénierie prompt

Une fois votre modèle entrainé, il faut pouvoir le solliciter en le conditionnant selon vos besoins. Ce qui permet de le faire, c'est le processus de structuration d'un texte pouvant être interprété et compris par un modèle d'IA générative qu'on appelle l'ingénierie prompt.

C'est tout un art et même un métier que de conditionner l'IA pour lui permettre d'être de qualité et performante.

Le problème, c'est de trouver l'équilibre entre le réglage fin et l'ingénierie prompt.

Si la tâche exige un degré élevé d'exactitude et de précision, le réglage fin sera plus important, plus coûteux et plus long que l'ingénierie prompt.

Le coût du Cloud

Rien de nouveau, les données doivent être hébergées, les IA aussi et cela engendre nécessairement des frais.

Lorsque la stratégie IA se déploie, probablement qu'il faudra également faire cohabiter les anciens systèmes avec les nouveaux tout en permettant d'avoir accès à toutes les données.

Généralement, les entreprises penchent pour une solution cloud "lift and shift" où les anciens systèmes sont conservés aussi longtemps que nécessaire tout en exploitant les nouveaux où il y a de l'IA.

Ce n'est pas une solution durable mais bien de transition.

Le coût des talents

Aucune surprise, pour pouvoir articuler toute cette mécanique, il est indispensable d'avoir des talents compétents comme nous avons chez Reboot et évidemment, les compétences de ce type sont encore assez rares.

Au-delà des compétences opérationnelles, il y a aussi une nécessité de former constamment et pas uniquement sur les enjeux techniques : les profils sont souvent pluridisciplinaires afin d'adresser les sujets sous un angle essentiellement non-technique.

L'impact de l'IA est fort, la culture d'entreprise doit donc l'être, il ne faut pas sous-estimer ce point car clairement, une entreprise qui utilise l'IA va nécessairement évoluer et repenser son activité pour le mieux.

Enfin, le coût d'exploitation

Eh oui, il faut maintenir et continuer à enrichir les IA via le MLOps (opération d'apprentissage) tout en s'intégrant au système existant afin d'assurer le déploiement et la maintenance des modèles de manière fiable et efficace.

Cela passe par des automatisations et des processus qui entrent dans le flux de travail : récupération des données, caractéristiques d'ingénierie, entraînement, tests, stockage et déploiement des modèles

Les coûts sous-estimés

Il faut une infrastructure digne de ce nom et donc la doter progressivement des moyens nécessaires pour faire face aux sujets en cours et à l'évolution du SI impactée par l'IA.

Il faut sécuriser à mort les données et éviter les fuites de données et de propriété intellectuelle, de contrer les risques associés à la diffusion de contenus malveillants et aux attaques ciblées.

Il faut continuellement se former et sensibiliser aux risques liées à la technologie et aux risques dus au shadow IT (les logiciels non validés par le service IT).

Il faut aussi avoir la capacité de gérer les effets de bord comme les biais :

• Le biais machine est le reflet des biais enracinés au sein des données d'entrainement,
• Le biais de disponibilité est celui qui privilégie les contenus facilement accessibles, ce qui renforce les préjugés existants,
• Le biais de confirmation est celui qui conforte les utilisateurs à rester dans leurs croyances,
• Le biais de sélection provient de données d'entrainement non représentatives,
• Le biais d'attribution de groupe renforce également les préjugés en généralisant des comportements basés sur les actions de quelques individus pas assez représentatifs,
• Les biais contextuel, linguistique et d'ancrage ont une influence sur la pertinence du contenu, le sentiment d'appartenance culturelle et la dépendance l'égard des informations initiales,
• Le biais d'automatisation encourage à accorder une confiance inconsidérée au contenu généré par l'IA

Conclusion

Notre recommandation est d'instaurer un contrôle des coûts afin d'avoir un avis éclairé sur les prises de décision en tenant compte des différents aspects que nous venons d'aborder mais aussi et surtout de votre culture d'entreprise.

Savoir si vous préférez utiliser des solutions du marché ou si vous préférez avoir la main sur vos IA en les concevant vous-même n'a absolument pas le même impact. C'est pourquoi, un arbitre sur les finances peut être pertinent dans certaines situations.

Faire une IA Factory ou laisser la main ? Faire une équipe IA transverse qui juge au cas par cas ou gouvernance absolue et centralisation des IA ? Toutes ces questions sont pertinentes dès lors qu'on entre dans ce monde.