Revolut adopte GLM pour ses 2 000 ingénieurs et réduit sa facture IA

Les chiffres

D'après l'intervention, Revolut sert le modèle avec environ 56 GPU Nvidia, pour un coût cumulé d'environ 30 centimes par million de jetons. La facture est fixe et n'augmente pas à chaque requête. Abitbol affirme que le temps de programmation a baissé d'environ 60 % et le délai de livraison, de l'attribution d'un ticket au déploiement, d'environ 70 %.

La transition s'est faite par étapes. Gemini, introduit en janvier, a amélioré le délai de livraison d'environ 10 % et le temps de programmation de 20 %. Claude Code a suivi avec un budget de 300 dollars par mois et par ingénieur, mais le gain est resté modeste, l'enveloppe ne durant pas tout le mois. Le modèle auto-hébergé promettait des jetons illimités, utilisés pour chercher dans Confluence, gérer des tickets Jira ou fouiller Slack. Pour Abitbol, le vrai goulot d'étranglement n'était donc pas l'écriture du code, mais le travail qui l'entoure.

Un démarrage difficile et la question chinoise

Le déploiement n'a pas fonctionné d'emblée : en juin, les temps de réponse dépassaient 10 secondes à quatre requêtes par seconde. Après réglages sur le même nombre de GPU, Revolut traitait plus de huit requêtes par seconde avec une latence inférieure à 1,8 seconde. Parmi ses conseils : limiter la fenêtre de contexte à 256 000 jetons, préférer le FP4 au FP8 pour économiser environ 40 % de capacité GPU, surveiller les taux de succès du cache et résister à l'envie d'ajouter du matériel à chaque pic de trafic.

Un modèle chinois dans une banque réglementée peut surprendre, reconnaît Abitbol. Revolut n'utilise toutefois que les poids du modèle, hébergés sur sa propre infrastructure ou chez un fournisseur européen ou américain : aucune donnée n'est envoyée à un service chinois. Il estime même que c'est meilleur pour la confidentialité que d'envoyer du code à OpenAI ou Anthropic. Les agents s'exécutent dans un bac à sable qui autorise certaines commandes et en bloque d'autres, avec toujours un humain dans la boucle. GLM ne traitant que le texte, les tâches d'image sont confiées à un modèle moins cher comme Gemini Flash.