Osegi
Yapay zekâ·2 dk okuma

Nota, Upstage'in Solar Open 2 modelini 8 yerine 2 GPU ile çalıştırdı

Nota, Upstage'in 250 milyar parametreli Solar Open 2 modelini sekiz yerine iki Nvidia H100 GPU ile çalışacak şekilde küçülttü; bellek kullanımı yüzde 76,5 azaldı.

Rows of GPU servers in an AI data center, illustrating efforts to run large AI models on fewer chips and less power.
Görsel: zdnet.co.kr
SUMODialoediviewergiftdetect

Yapay zekâ modeli optimizasyonu alanında çalışan Güney Koreli Nota, dev yapay zekâ modellerini çok daha az grafik işlemciyle çalıştırmayı sağlayan bir teknoloji geliştirdiğini 9 Kasım'da duyurdu. Upstage'in 250 milyar parametreli Solar Open 2 modeli, daha önce gereken sekiz Nvidia H100 yerine artık iki H100 ile çalışıyor.

Şirketin açıklamasına göre model ağırlıklarını depolamak için gereken bellek 500,6 GB'tan 117,8 GB'a indi; bu yüzde 76,5'lik bir azalma anlamına geliyor. Nota, hesaplama hassasiyetini düşüren nicemleme (quantization) ile önemi düşük hesaplama modüllerini çıkaran budama (pruning) yöntemlerini birlikte kullandı. Amaç, performans kaybını en aza indirerek daha az bellekle büyük modeli çalıştırmaktı.

Kimi K3 ve enerji tasarrufu

Teknoloji, Çinli Moonshot AI'ın toplam 2,8 trilyon parametreli Kimi K3 modeline de uygulandı. Model daha önce sekiz Nvidia B300 GPU gerektiriyordu. Nota bazı modülleri çıkararak sırasıyla altı ve dört GPU ile çalışan iki hafif sürüm hazırladı. Kimi K3, yalnızca gereken modülleri kullanan uzman karışımı (MoE) mimarisine sahip; Nota her modülün önemini analiz ederek katkısı görece düşük olanları çıkardı.

Şirket, modellerin çalışırken harcadığı enerjiyi azaltan teknikler üzerinde de çalışıyor. AMD Ryzen AI Max+ 395 ortamında Alibaba'nın Qwen3 8B modeliyle yapılan çıkarım optimizasyonu deneyinde, işlerin GPU ile NPU arasında paylaştırılması token başına enerji tüketimini AMD'nin mevcut hibrit yürütme ortamına göre yüzde 31 azalttı. Yanıt tamamlama süresi ise en fazla yüzde 52 kısaldı.

Veri merkezlerine yönelik baskı

Gelişmeler, yapay zekâ veri merkezlerinin elektrik ve su tüketimine yönelik kaygıların arttığı bir dönemde geliyor. Gallup'un mart ayında yaptığı ankette ABD'li yetişkinlerin yaklaşık yüzde 70'i yaşadıkları bölgede yapay zekâ veri merkezi kurulmasına karşı çıktı; gerekçeler arasında çevresel etki ve geçim maliyetleri vardı. Lawrence Berkeley Ulusal Laboratuvarı ise veri merkezlerinin 2030'da ABD elektrik tüketiminin yüzde 11,8'ini oluşturacağını tahmin ediyor; bu rakam yalnızca yapay zekâ tesislerini değil, tüm veri merkezlerini kapsıyor.

Nota, NetsPresso platformu üzerinden yarı iletken şirketlerine yazılım lisansı ve model optimizasyon teknolojisi sağlıyor. Şirket, GPU'nun yanı sıra CPU ve NPU ortamlarını da hedefleyerek işletmelerin belirli bir çipe bağlı kalmadan mevcut hesaplama kaynaklarıyla yapay zekâ çalıştırmasını amaçlıyor. Teknoloji Direktörü Kim Tae-ho, müşterilerin hesaplama verimliliğini artıran işleri genişleteceklerini söyledi.

Göz atmaya değer uygulamalar

SUMO: sayı bulmacası

Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.

Dialo: konuşarak dil öğrenin

Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.

Etiketler:notaupstagesolar open 2model compressiongpudata centers

Aynı günden diğer haberler

Tümünü gör →

Daha fazla: Yapay zekâ

Tümünü gör →