SK Telecom, Nvidia и Rebellions создадут системы ИИ на GPU и NPU

Инференс разделят между чипами

В системе будет использован «разделённый инференс». Этап prefill, на котором анализируется запрос пользователя, возьмут на себя GPU Nvidia: он требует большого объёма вычислений. Этап decode, где ответ формируется последовательно, достанется NPU Rebellions: здесь важнее не вычисления, а скорость выборки данных из памяти. Расчёт в том, что подходящий чип на каждом этапе повысит скорость и энергоэффективность — это важно, поскольку с распространением агентного ИИ растёт число запросов на инференс.

Технический директор SK Telecom Чон Сок Гын заявил, что Корея должна стать местом, где токены производят дешевле всего в мире, а ИИ используют гораздо активнее. Компания продвигает идею «суверенного токена»: она сама будет эксплуатировать дата-центры с GPU и NPU, а госорганы и бизнес смогут получать токены через API, не заботясь об оборудовании. По его словам, строить и обслуживать дата-центры стало сложнее, и требовать от клиентов самостоятельно покупать NPU и собирать системы значило бы создавать барьер для входа.

Что дальше

SK Telecom внедрит систему в собственных дата-центрах, чтобы проверить производительность и стабильность, а затем оценит применение в реальных сервисах и возможность коммерциализации. К инфраструктуре подключат собственную модель A.X K2 и массовые сервисы вроде «ИИ для всех». Проект согласуется с политикой министерства науки и ИКТ в области суверенного ИИ и отечественных ИИ-чипов.

Чон отметил, что компании вроде Rebellions уже получили инвестиции и кадры, но продажи чипов бизнесу и экспорт по-прежнему упираются в барьеры, поэтому нужны значимые отечественные референсы. Ашиш Карандикар из Nvidia сказал, что NVLink Fusion позволяет объединять корейские ASIC с платформой AI Factory.