Nota reduce de 8 a 2 las GPU para ejecutar Solar Open 2 de Upstage
Nota asegura haber optimizado Solar Open 2, de Upstage y con 250.000 millones de parámetros, para que funcione con dos GPU H100 de Nvidia en lugar de ocho.
SUMO· el puzle de números
Dialo· aprende idiomas hablando
ediviewer· lee archivos EDI como documentos
giftdetect· el regalo adecuado en minutosLa empresa surcoreana de optimización de IA Nota afirma haber desarrollado una técnica que permite ejecutar un modelo de IA gigante con una cuarta parte de las GPU que requería. La compañía anunció el 9 de noviembre que comprimió Solar Open 2, el modelo de 250.000 millones de parámetros de Upstage, para que funcione con dos GPU H100 de Nvidia en vez de ocho.
La memoria necesaria para almacenar los pesos del modelo se redujo un 76,5 %, de 500,6 GB a 117,8 GB. Nota combinó la cuantización, que reduce la precisión numérica de los cálculos, con la poda, que elimina módulos de cálculo menos relevantes, con el fin de minimizar la pérdida de rendimiento.
Kimi K3 e inferencia más eficiente
La técnica también se aplicó a Kimi K3, de Moonshot AI, un modelo con 2,8 billones de parámetros que antes necesitaba ocho GPU B300 de Nvidia. Usa una arquitectura de mezcla de expertos (MoE): Nota analizó la importancia de cada módulo y retiró los de menor contribución. El resultado son dos versiones ligeras que funcionan con seis y cuatro GPU, respectivamente.
La empresa también trabaja en reducir la energía que se consume al ejecutar los modelos. En una prueba de inferencia con Qwen3 8B de Alibaba sobre el Ryzen AI Max+ 395 de AMD, Nota repartió el trabajo entre la GPU y la NPU. Según la compañía, el consumo de energía por token bajó un 31 % frente al entorno de ejecución híbrido actual de AMD y el tiempo de respuesta se redujo hasta un 52 %.
Contexto: presión sobre los centros de datos
El avance llega cuando crece la preocupación por el consumo de electricidad y agua de los centros de datos de IA. Una encuesta de Gallup de marzo halló que cerca del 70 % de los adultos estadounidenses se opone a que se construyan en su zona, por el impacto ambiental y el coste de vida. Un informe del Laboratorio Nacional Lawrence Berkeley estima que los centros de datos representarán el 11,8 % del consumo eléctrico de EE. UU. en 2030, cifra que abarca todos los centros de datos y no solo los de IA.
A través de su plataforma NetsPresso, Nota suministra licencias de software y tecnología de optimización a fabricantes de chips, y dice haber logrado contratos de continuidad con clientes actuales. Prevé extender el soporte a CPU y NPU para que las empresas usen la capacidad de cómputo que ya poseen. Su director de tecnología, Kim Tae-ho, indicó que ampliará el negocio de eficiencia informática.
Apps que merecen la pena
SUMO: el puzle de númerosToca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.
Dialo: aprende idiomas hablandoConversa con un compañero de IA; cada frase vuelve corregida y explicada en tu idioma. 9 idiomas, de A1 a C2.
ediviewer: lee archivos EDI como documentosAbre mensajes EDIFACT y X12, cada segmento explicado, conversión a JSON/XML, exportación a PDF y Excel. Funciona en local, sin subir nada.
giftdetect: el regalo adecuado en minutosElige para quién es, la ocasión y su personalidad. El buscador lee las descripciones de tiendas locales y ordena lo que encaja. Gratis, sin registro.
Más de este día
Ver todas →
SRTD Biotech capta 31,5 millones para terapias de ARNm de precisión
Calogena logra 40 millones de la UE para su primer SMR comercial
Windows 11: el Editor del Registro con WinUI 3 aparece como demo
JRH ASI financiará la producción de radares de un socio ucraniano
Más en: IA
Ver todas →
Adoba lanza adobaRo AIGC Studio junto a Tencent Cloud
Cursor lanza una función para crear, desplegar y compartir apps web
Thinking Machines Lab presenta Inkling 2 Small y abrirá sus pesos
