Osegi
하드웨어·1 분 소요

PS4로 로컬 LLM 구동, Qwen3.5-9B가 초당 최대 39토큰

2013년에 나온 PS4에서 90억 파라미터 AI 모델과 대화할 수 있습니다. 빠른 이유는 의외로 메모리 대역폭입니다.

A original PlayStation 4 console sitting on a desk with a chat window showing an AI conversation on a connected screen.
이미지: ギズモード・ジャパン

13년 된 PS4가 로컬 LLM 머신으로 변신했습니다. Leonardo Alegría가 진행한 프로젝트에서 PS4는 AI 모델 Qwen3.5-9B를 일반 채팅이 가능한 속도로 돌립니다.

그가 직접 만든 오픈소스 프로젝트 Garlic LLM을 쓰면 텍스트 채팅에서 초당 31~39토큰, 음성 채팅에서 약 22토큰, 코드 생성에서는 최대 43토큰이 나온다고 합니다. 토큰은 AI가 글을 내놓을 때 쓰는 단위입니다.

PS4 로컬 LLM이 빠른 이유

PS4의 CPU와 GPU가 공유하는 메모리는 8GB입니다. 90억 파라미터 모델을 그대로 올리기는 어려워서 4비트나 3비트로 양자화해 필요한 메모리를 줄였습니다.

핵심은 PS4의 176GB/s 메모리 대역폭입니다. 메모리 16GB인 Apple M6는 153GB/s, M3 Pro는 150GB/s, Intel Core Ultra X9 388H는 153.6GB/s, AMD Ryzen AI 9 HX 475는 136.5GB/s로, 모두 PS4보다 느립니다.

CPU와 GPU 연산 능력, 캐시, AI 가속기까지 합친 종합 성능에서는 최신 SoC를 따라갈 수 없습니다. 하지만 작은 LLM을 돌릴 때는 메모리 대역폭이 크게 작용해 실용적인 속도가 나옵니다.

안전한가요?

탈옥이 필수이고, 자작 앱을 쓸 수 있게 해 주는 GoldHEN도 설치해야 합니다. 안전성은 전혀 보장되지 않으며 모든 책임은 사용자에게 있습니다.

그래도 블루레이 드라이브가 고장 나 수천 엔에 구할 수 있을 법한 중고 PS4에 새 쓰임새가 생겼다는 점은 흥미롭습니다. PS4는 2022년 3월 말 기준 누적 1억 1720만 대가 팔렸습니다.

주목할 만한 앱

SUMO: 숫자 퍼즐

올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.

태그:ps4local llmqwen3.5garlic llmgoldhenplaystation

같은 날의 다른 뉴스

전체 보기 →

관련 카테고리: 하드웨어

전체 보기 →