SK Telecom, Nvidia i Rebellions połączą GPU i NPU w systemach AI

Podział pracy między układami

System wykorzysta tzw. inferencję rozdzieloną. Etap prefill, czyli analizę pytania użytkownika, obsłuży GPU Nvidii, ponieważ wymaga on dużej mocy obliczeniowej. Etap decode, w którym odpowiedź powstaje krok po kroku, trafi do NPU Rebellions, bo tu ważniejsza jest szybkość pobierania danych z pamięci niż same obliczenia. Dopasowanie układu do etapu ma poprawić wydajność i efektywność energetyczną, co zyskuje na znaczeniu wraz z rosnącą liczbą zapytań generowanych przez agentową AI.

CTO SK Telecom Jung Seok-geun (Chung Suk-geun) zapowiedział, że Korea ma stać się miejscem, gdzie tokeny produkuje się najtaniej na świecie. Firma chce rozwijać „suwerenne tokeny”: sama będzie prowadzić centra danych z GPU i NPU, a klienci – instytucje rządowe, publiczne i firmy – będą korzystać z mocy przez API, bez budowania własnego zaplecza sprzętowego. Według niego budowa i obsługa centrów danych stała się dziś zbyt trudna, by oczekiwać tego od odbiorców układów NPU.

Dalsze plany

SK Telecom wdroży system we własnych centrach danych, aby sprawdzić wydajność i stabilność, a potem oceni możliwości komercjalizacji. Do infrastruktury ma zostać podłączony własny model A.X K2 oraz usługi dla ogółu społeczeństwa, takie jak „Modu-ui AI”. Projekt wpisuje się w politykę ministerstwa nauki i ICT dotyczącą suwerennej AI i krajowych układów AI.

Jung zaznaczył, że Rebellions zdołał pozyskać finansowanie i kadry, ale sprzedaż układów firmom i na eksport wciąż napotyka bariery, dlatego potrzebne są krajowe referencje i wdrożenia. Ashish Karandikar z Nvidii podkreślił, że NVLink Fusion pozwala łączyć koreańskie układy ASIC z platformą AI Factory.