Osegi
Sprzęt·1 min czytania

PS4 jako lokalny LLM: konsola z 2013 r. uruchamia Qwen3.5-9B

Stara PlayStation 4 potrafi rozmawiać z modelem AI o 9 mld parametrów z prędkością do 39 tokenów na sekundę. Sekret tknie w pamięci konsoli.

A original PlayStation 4 console sitting on a desk with a chat window showing an AI conversation on a connected screen.
Zdjęcie: ギズモード・ジャパン

Konsola z 2013 roku, którą większość z nas kojarzy z FIFĄ i The Last of Us, może posłużyć jako lokalny model językowy. PS4 uruchamia Qwen3.5-9B na tyle szybko, że rozmowa z nim wygląda zupełnie normalnie.

Pomysł zrealizował Leonardo Alegría w otwartoźródłowym projekcie Garlic LLM. Według jego wyników model generuje 31–39 tokenów na sekundę w czacie tekstowym, około 22 w czacie głosowym i do 43 przy generowaniu kodu. Token to kawałek tekstu, mniej więcej sylaba lub krótkie słowo.

Warunki są jednak konkretne. Konsolę trzeba zjailbreakować i zainstalować GoldHEN, czyli narzędzie pozwalające uruchamiać własne aplikacje. Bezpieczeństwa nikt tu nie gwarantuje, całość robi się na własną odpowiedzialność. Autor tekstu zauważa przy okazji, że to ciekawy sposób na zagospodarowanie zepsutych PS4 z uszkodzonym napędem Blu-ray, które da się kupić jako złom za kilka tysięcy jenów.

Jak PS4 uruchamia model o 9 mld parametrów?

Procesor i karta graficzna PS4 dzielą 8 GB pamięci. Model z 9 miliardami parametrów w pełnej postaci się tam nie zmieści, więc używa się kwantyzacji do 4 lub 3 bitów, która zmniejsza zapotrzebowanie na pamięć.

O szybkości decyduje przepustowość pamięci. W PS4 wynosi ona 176 GB/s. To więcej niż w Apple M6 z 16 GB pamięci (153 GB/s), M3 Pro (150 GB/s), Intel Core Ultra X9 388H (153,6 GB/s) czy AMD Ryzen AI 9 HX 475 (136,5 GB/s).

Nie znaczy to, że stara konsola jest lepsza od nowych układów. Pod względem mocy obliczeniowej CPU i GPU, pamięci podręcznej czy akceleratorów AI nowoczesne SoC wygrywają bez trudu. Przy małych modelach językowych liczy się jednak głównie to, jak szybko da się czytać pamięć, i tu PS4 wypada zaskakująco dobrze.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:ps4local llmqwen3.5garlic llmgoldhenplaystation

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: Sprzęt

Zobacz wszystkie →