Osegi
Hardware·1 Min. Lesezeit

PS4 als lokaler LLM-Rechner: Qwen3.5-9B mit bis zu 39 Token/s

Eine PS4 von 2013 chattet mit einem KI-Modell mit 9 Milliarden Parametern, und zwar flott. Der Grund ist die überraschend hohe Speicherbandbreite.

A original PlayStation 4 console sitting on a desk with a chat window showing an AI conversation on a connected screen.
Bild: ギズモード・ジャパン

Eine PlayStation 4 aus dem Jahr 2013 kann ein lokales KI-Modell in alltagstauglichem Tempo betreiben. Das zeigt ein Bastelprojekt von Leonardo Alegría, der das Sprachmodell Qwen3.5-9B auf der alten Konsole zum Laufen gebracht hat.

Die Software heißt Garlic LLM und ist ein Open-Source-Projekt, das er selbst entwickelt hat. Nach seinen Angaben schafft die PS4 beim Textchat 31 bis 39 Token pro Sekunde (ein Token ist grob ein Wortbruchstück), beim Sprachchat etwa 22 und bei der Codegenerierung bis zu 43.

Wie läuft ein 9B-Modell auf der PS4?

CPU und GPU der PS4 teilen sich 8 GB Speicher. Ein Modell mit 9 Milliarden Parametern passt so nicht hinein. Deshalb wird es mit 4-Bit- oder 3-Bit-Quantisierung verkleinert, die Zahlen des Modells werden also gröber gespeichert.

Für das Tempo sorgt die Speicherbandbreite, also wie schnell Daten aus dem Speicher fließen. Die PS4 kommt auf 176 GB/s. Zum Vergleich nennt die Quelle den Apple M6 mit 16 GB (153 GB/s), den M3 Pro (150 GB/s), Intels Core Ultra X9 388H (153,6 GB/s) und AMDs Ryzen AI 9 HX 475 (136,5 GB/s). Alle liegen darunter.

Die PS4 ist damit nicht der bessere Rechner. Bei Rechenleistung, Cache und KI-Beschleunigern liegen moderne Chips klar vorn. Kleine Modelle warten aber viel auf den Speicher, deshalb zählt die Bandbreite so stark.

Ist das sicher?

Garantiert wird nichts. Nötig sind ein gejailbreakte PS4 und die Installation von GoldHEN, womit eigene Apps laufen. Das geschieht komplett auf eigene Gefahr.

Reizvoll bleibt die Idee: PS4-Geräte mit defektem Blu-ray-Laufwerk gibt es als Defektware wohl für wenige tausend Yen. Sie könnten so als günstige Offline-KI-Box weiterleben. Bis März 2022 wurden weltweit 117,2 Millionen PS4 verkauft.

Apps, die sich lohnen

SUMO: das Zahlenrätsel

Tippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.

Schlagwörter:ps4local llmqwen3.5garlic llmgoldhenplaystation

Mehr von diesem Tag

Alle anzeigen →

Mehr aus: Hardware

Alle anzeigen →