PS4로 로컬 LLM 구동, Qwen3.5-9B가 초당 최대 39토큰
2013년에 나온 PS4에서 90억 파라미터 AI 모델과 대화할 수 있습니다. 빠른 이유는 의외로 메모리 대역폭입니다.

13년 된 PS4가 로컬 LLM 머신으로 변신했습니다. Leonardo Alegría가 진행한 프로젝트에서 PS4는 AI 모델 Qwen3.5-9B를 일반 채팅이 가능한 속도로 돌립니다.
그가 직접 만든 오픈소스 프로젝트 Garlic LLM을 쓰면 텍스트 채팅에서 초당 31~39토큰, 음성 채팅에서 약 22토큰, 코드 생성에서는 최대 43토큰이 나온다고 합니다. 토큰은 AI가 글을 내놓을 때 쓰는 단위입니다.
PS4 로컬 LLM이 빠른 이유
PS4의 CPU와 GPU가 공유하는 메모리는 8GB입니다. 90억 파라미터 모델을 그대로 올리기는 어려워서 4비트나 3비트로 양자화해 필요한 메모리를 줄였습니다.
핵심은 PS4의 176GB/s 메모리 대역폭입니다. 메모리 16GB인 Apple M6는 153GB/s, M3 Pro는 150GB/s, Intel Core Ultra X9 388H는 153.6GB/s, AMD Ryzen AI 9 HX 475는 136.5GB/s로, 모두 PS4보다 느립니다.
CPU와 GPU 연산 능력, 캐시, AI 가속기까지 합친 종합 성능에서는 최신 SoC를 따라갈 수 없습니다. 하지만 작은 LLM을 돌릴 때는 메모리 대역폭이 크게 작용해 실용적인 속도가 나옵니다.
안전한가요?
탈옥이 필수이고, 자작 앱을 쓸 수 있게 해 주는 GoldHEN도 설치해야 합니다. 안전성은 전혀 보장되지 않으며 모든 책임은 사용자에게 있습니다.
그래도 블루레이 드라이브가 고장 나 수천 엔에 구할 수 있을 법한 중고 PS4에 새 쓰임새가 생겼다는 점은 흥미롭습니다. PS4는 2022년 3월 말 기준 누적 1억 1720만 대가 팔렸습니다.
주목할 만한 앱
올바른 칸을 고르고 더해 목표 숫자를 맞추세요. 배우긴 쉽고 마스터하긴 어렵습니다. 무료, 전 연령.
AI 대화 파트너와 대화하세요. 모든 문장이 교정되어 내 언어로 설명과 함께 돌아옵니다. 9개 언어, A1부터 C2까지.
EDIFACT와 X12 메시지를 열어 각 세그먼트 설명을 보고, JSON/XML로 변환하고, PDF와 Excel로 내보내세요. 로컬에서 실행, 업로드 없음.
받는 사람, 기념일, 성격을 고르세요. 검색 엔진이 현지 상점의 상품 설명을 읽고 어울리는 것을 추려 줍니다. 무료, 가입 없음.
같은 날의 다른 뉴스
전체 보기 →관련 카테고리: 하드웨어
전체 보기 →
AI가 설계한 CPU 'Frostbite', 시뮬레이션서 와트당 성능 4.59배

Supermicro 소송, 전직 임원 남편은 Nvidia 영업 총괄

Taco AI, 음성 입력에 에어 마우스까지 되는 손바닥 기기




