Osegi
IA·2 min de lecture

Nota réduit de 8 à 2 les GPU requis pour Solar Open 2 d'Upstage

Nota affirme avoir allégé Solar Open 2 d'Upstage, un modèle de 250 milliards de paramètres, pour qu'il tourne sur deux GPU H100 de Nvidia au lieu de huit.

Rows of GPU servers in an AI data center, illustrating efforts to run large AI models on fewer chips and less power.
Image: zdnet.co.kr
SUMO Dialo ediviewer giftdetect

L'entreprise sud-coréenne d'optimisation d'IA Nota affirme avoir mis au point une technique permettant de faire tourner un très grand modèle d'IA avec un quart des processeurs graphiques (GPU) habituellement nécessaires. Elle a annoncé le 9 novembre avoir allégé Solar Open 2, le modèle de 250 milliards de paramètres d'Upstage, qui fonctionne désormais sur deux GPU H100 de Nvidia au lieu de huit.

La mémoire nécessaire au stockage des poids du modèle diminue de 76,5 %, passant de 500,6 à 117,8 Go. Nota associe la quantification, qui réduit la précision numérique des calculs, et l'élagage, qui supprime les modules de calcul les moins importants, avec pour objectif de limiter au maximum la perte de performance.

Kimi K3 et inférence plus sobre

La méthode a aussi été appliquée à Kimi K3, de Moonshot AI, un modèle de 2 800 milliards de paramètres qui exigeait jusqu'ici huit GPU B300 de Nvidia. Il repose sur une architecture de mélange d'experts (MoE) : Nota a analysé l'apport de chaque module et retiré les moins utiles. Deux versions allégées en résultent, exécutables respectivement sur six et quatre GPU.

L'entreprise travaille également à réduire l'énergie consommée lors de l'exécution des modèles. Lors d'un test d'inférence avec Qwen3 8B d'Alibaba sur la puce Ryzen AI Max+ 395 d'AMD, Nota a réparti les calculs entre le GPU et le NPU. Elle indique une baisse de 31 % de l'énergie par jeton par rapport à l'exécution hybride actuelle d'AMD, et des temps de réponse réduits jusqu'à 52 %.

Un contexte de pression sur les centres de données

Ces travaux interviennent alors que les besoins en électricité et en eau des centres de données d'IA inquiètent. Selon un sondage Gallup de mars, environ 70 % des adultes américains s'opposent à la construction de tels centres près de chez eux, en raison de l'impact environnemental et du coût de la vie. Un rapport du Lawrence Berkeley National Laboratory estime que les centres de données pourraient représenter 11,8 % de la consommation électrique américaine en 2030, un chiffre qui couvre tous les centres de données et pas seulement ceux dédiés à l'IA.

Grâce à sa plateforme NetsPresso, Nota fournit des licences logicielles et sa technologie d'optimisation à des fabricants de puces, et dit avoir obtenu des contrats de suite avec des clients existants. Elle prévoit d'étendre la prise en charge aux CPU et aux NPU afin que les entreprises exploitent l'IA avec leurs ressources actuelles. Son directeur technique, Kim Tae-ho, promet de poursuivre cette stratégie d'efficacité informatique.

Des apps à découvrir

SUMO : le puzzle de nombres

Touche les bonnes cases, additionne, atteins l'objectif. Facile à apprendre, difficile à maîtriser. Gratuit, pour tous les âges.

Mots-clés:notaupstagesolar open 2model compressiongpudata centers

Plus d'actus de ce jour

Tout voir →

Plus dans: IA

Tout voir →