Osegi
Donanım·1 dk okuma

PS4 ile yerel LLM: 2013 model konsol Qwen3.5-9B çalıştırıyor

2013 çıkışlı bir PlayStation 4, 9 milyar parametreli yapay zekâ modeliyle saniyede 39 token hızla sohbet edebiliyor. Sır, konsolun hızlı belleğinde.

A original PlayStation 4 console sitting on a desk with a chat window showing an AI conversation on a connected screen.
Görsel: ギズモード・ジャパン

Çoğumuzun FIFA ve The Last of Us ile hatırladığı 2013 model PS4, yerel bir dil modeli çalıştırabiliyor. Üstelik Qwen3.5-9B o kadar hızlı yanıt veriyor ki sohbet gayet normal akıyor.

Projenin arkasında Leonardo Alegría ve açık kaynaklı Garlic LLM var. Alegría'nın ölçümlerine göre metin sohbetinde saniyede 31 ila 39 token, sesli sohbette yaklaşık 22 token, kod üretiminde ise en fazla 43 token elde ediliyor. Token, metnin kabaca bir hece ya da kısa kelime kadar parçası.

İşin şartları net: konsola jailbreak yapmak ve kendi uygulamalarınızı çalıştırmaya yarayan GoldHEN'i kurmak gerekiyor. Güvenlik garantisi yok, tüm sorumluluk kullanıcıda. Yine de yazara göre bu yöntem ilginç bir fikir veriyor: Blu-ray sürücüsü bozulmuş, birkaç bin yen gibi bir fiyata hurda olarak bulunabilecek PS4'lere yeni bir iş çıkıyor.

PS4 9 milyar parametreli modeli nasıl çalıştırıyor?

PS4'te işlemci ile grafik birimi 8 GB belleği paylaşıyor. 9 milyar parametreli bir model olduğu gibi sığmadığı için 4 bit ya da 3 bit nicemleme (quantization) ile bellek ihtiyacı azaltılıyor.

Hızın anahtarı bellek bant genişliği. PS4'te bu değer 176 GB/s. Karşılaştırma şöyle: 16 GB belleğe sahip Apple M6 153 GB/s, M3 Pro 150 GB/s, Intel Core Ultra X9 388H 153,6 GB/s, AMD Ryzen AI 9 HX 475 ise 136,5 GB/s.

Bu, eski konsolun yeni çiplerden üstün olduğu anlamına gelmiyor. İşlemci ve GPU gücü, önbellek ve yapay zekâ hızlandırıcıları söz konusu olduğunda modern SoC'ler açık farkla önde. Ama küçük dil modellerinde belleği ne kadar hızlı okuyabildiğiniz belirleyici oluyor ve PS4 orada şaşırtıcı biçimde iyi.

Göz atmaya değer uygulamalar

SUMO: sayı bulmacası

Doğru kareleri seçin, toplayın, hedefe ulaşın. Öğrenmesi kolay, ustalaşması zor. Ücretsiz, her yaşa uygun.

Dialo: konuşarak dil öğrenin

Yapay zekâ sohbet partneriyle konuşun; her cümleniz düzeltilip kendi dilinizde açıklanarak geri gelsin. 9 dil, A1'den C2'ye.

Etiketler:ps4local llmqwen3.5garlic llmgoldhenplaystation

Aynı günden diğer haberler

Tümünü gör →

Daha fazla: Donanım

Tümünü gör →