SK Telecom, Nvidia ve Rebellions GPU-NPU AI sistemi geliştirecek

Çıkarım iki yongaya bölünüyor

Sistemde “ayrıştırılmış çıkarım” (disaggregated inference) kullanılacak. Kullanıcının sorusunu analiz eden prefill aşamasını, yoğun hesaplama gerektirdiği için Nvidia GPU'ları üstlenecek. Yanıtın adım adım üretildiği decode aşamasını ise Rebellions NPU'su yürütecek; bu aşamada hesaplamadan çok bellekten veriyi hızlı çekmek önem taşıyor. Amaç, her aşamaya uygun yongayı yerleştirerek hızı ve enerji verimliliğini artırmak. Ajan tabanlı yapay zekanın yaygınlaşmasıyla çıkarım talebi büyürken, güç ve işletme maliyetlerinde rekabetçilik de kritik hale geliyor.

SK Telecom Teknoloji Direktörü (CTO) Jung Seok-geun, Kore'nin dünyada en ucuz token üreten ülke olmasını ve böylece yapay zeka kullanımının hızla yaygınlaşmasını hedeflediklerini söyledi. Şirket “egemen token” fikrini öne çıkarıyor: GPU ve NPU'lu veri merkezlerini kendisi işletecek, kamu kurumları ve şirketler ise donanımla uğraşmadan API üzerinden token kullanabilecek. Jung'a göre veri merkezi kurmak ve işletmek zorlaştığı için müşterilerden yerli NPU satın alıp kendi sistemini kurmasını beklemek bir giriş engeli oluşturur.

Sırada ne var

SK Telecom, sistemi kendi veri merkezlerinde devreye alıp performans ve kararlılığı doğrulayacak, ardından gerçek hizmetlerde kullanım ve ticarileşme olasılığını değerlendirecek. Şirketin kendi modeli A.X K2 ile “Herkesin AI'ı” gibi halka yönelik hizmetler bu altyapıya bağlanacak. Çalışma, Bilim ve Bilgi İletişim Teknolojileri Bakanlığı'nın egemen yapay zeka ve yerli yarı iletken politikalarıyla uyumlu.

Jung, Rebellions gibi şirketlerin yatırım ve işgücü bulabildiğini, ancak çipleri şirketlere satmanın ve ihraç etmenin hâlâ engellerle karşılaştığını belirterek yerel referans projelerine ihtiyaç olduğunu vurguladı. Nvidia'dan Ashish Karandikar ise NVLink Fusion'ın Kore'nin ASIC'lerini Nvidia'nın AI Factory platformuyla birleştirmeyi mümkün kıldığını söyledi.