AI9 lis 2026, 11:19 UTC·2 min czytania

Nota zmniejsza liczbę GPU dla Solar Open 2 Upstage z 8 do 2

Nota twierdzi, że skompresowała model Solar Open 2 firmy Upstage (250 mld parametrów) tak, by działał na dwóch GPU H100 zamiast ośmiu, a pamięć spadła o 76,5%.

Rows of GPU servers in an AI data center, illustrating efforts to run large AI models on fewer chips and less power. — Zdjęcie: zdnet.co.kr

Koreańska firma Nota, specjalizująca się w optymalizacji modeli AI, poinformowała 9 listopada, że opracowała technikę pozwalającą uruchamiać ogromne modele na znacznie mniejszej liczbie procesorów graficznych. Model Solar Open 2 firmy Upstage, liczący 250 mld parametrów, działa teraz na dwóch kartach Nvidia H100 zamiast ośmiu.

Według spółki pamięć potrzebna do przechowywania wag modelu spadła z 500,6 GB do 117,8 GB, czyli o 76,5%. Nota połączyła kwantyzację, która obniża precyzję obliczeń, z przycinaniem (pruningiem), czyli usuwaniem modułów obliczeniowych o małym znaczeniu. Celem było ograniczenie spadku jakości przy mniejszym zużyciu pamięci.

Kimi K3 i oszczędność energii

Technologię zastosowano też w modelu Kimi K3 chińskiej firmy Moonshot AI, który ma łącznie 2,8 bln parametrów. Wcześniej wymagał ośmiu GPU Nvidia B300. Nota usunęła część modułów i przygotowała dwie lżejsze wersje, działające na sześciu i czterech GPU. Kimi K3 korzysta z architektury mixture of experts (MoE), więc Nota oceniała znaczenie poszczególnych modułów i usuwała te o mniejszym wkładzie.

Firma pracuje także nad zmniejszeniem energii zużywanej podczas działania modeli. W teście na platformie AMD Ryzen AI Max+ 395 z modelem Qwen3 8B Alibaby podział zadań między GPU i NPU obniżył zużycie energii na token o 31% względem dotychczasowego trybu hybrydowego AMD. Czas potrzebny na wygenerowanie odpowiedzi skrócił się nawet o 52%.

Presja na centra danych

Prace te trwają, gdy rośnie sprzeciw wobec centrów danych AI. Według ankiety Gallupa z marca około 70% dorosłych Amerykanów sprzeciwia się budowie takich obiektów w ich okolicy, wskazując na zużycie energii i wody oraz koszty życia. Laboratorium Lawrence Berkeley szacuje, że w 2030 roku centra danych będą odpowiadać za 11,8% zużycia energii w USA; prognoza obejmuje wszystkie centra danych, nie tylko te dla AI.

Nota rozwija platformę optymalizacyjną NetsPresso i dostarcza producentom układów licencje oprogramowania oraz technologie optymalizacji modeli. Firma zapowiada dalszy rozwój pod kątem CPU i NPU, aby przedsiębiorstwa mogły uruchamiać AI na własnych zasobach, niezależnie od konkretnego układu. Dyrektor techniczny Kim Tae-ho zapowiedział rozszerzanie działalności związanej z efektywnością obliczeń klientów.