Lenovo lance une usine à jetons IA pour l'inférence en Chine

L'expression « usine à jetons » renvoie à l'unité de mesure de l'usage de l'IA. Les jetons sont les fragments de texte que les modèles lisent et produisent, et l'inférence, c'est-à-dire l'étape où un modèle entraîné répond aux demandes réelles des utilisateurs, en consomme en continu. Lenovo cherche ainsi à produire des jetons à grande échelle et à coût maîtrisé.

Pourquoi c'est important

L'inférence est le moment où les modèles rencontrent les utilisateurs, et la demande progresse à mesure que les entreprises intègrent l'IA dans leurs usages quotidiens. Pour un fabricant de matériel et d'infrastructures comme Lenovo, c'est un moyen de se placer sur ce segment plutôt que de se limiter à fournir les machines sous-jacentes.

Pour les clients professionnels, l'intérêt de ce routage par niveaux tient à la maîtrise des coûts : ne payer la capacité d'un grand modèle que lorsque la tâche l'exige vraiment. Les économies et les performances espérées dépendront de la capacité du système à évaluer correctement la complexité des tâches.

Les tarifs, les modèles pris en charge et la disponibilité pour les clients n'ont pas été précisés. Ces éléments détermineront la compétitivité de l'offre sur le marché chinois, très disputé, des infrastructures d'IA.