500달러짜리 PS5가 로컬 AI 서버로? 탈옥 콘솔이 100+ 토큰을 뽑아내는 비밀

안녕하세요 테크 매니아 여러분! 최근 홈브류 및 콘솔 탈옥 커뮤니티에서 아주 흥미로운 소식이 전해졌어요. 바로 500달러짜리 게임 콘솔인 플레이스테이션 5(PS5)가 강력한 로컬 AI 서버로 변신했다는 이야기인데요. 초기에는 CPU 기반의 제한적인 환경이었지만, 최근 GPU를 직접 활용하는 네이티브 방식으로 진화하면서 엄청난 성능 향상을 보여주고 있더라고요. 과연 어떤 기술적 변화가 있었는지 자세히 살펴볼까요?

1. 기존 CPU 페이로드 방식의 한계와 ‘PS5LM’의 등장

원래 개발자 Mert Cobanov가 공개했던 오픈소스 프로젝트 ‘PS5LM’은 콘솔의 CPU 페이로드를 통해 ‘llama.cpp’를 구동하는 방식을 취했어요. 아이디어 자체는 신선했지만, 당시에는 몇 가지 명확한 기술적 제약이 있었습니다. 대표적으로 사용할 수 있는 메모리 제한이 약 6GiB 정도에 불과했거든요. 하드웨어의 전체 잠재력을 온전히 끌어내기에는 다소 아쉬운 구조였죠.

2. Vulkan 드라이버 도입과 GPU 네이티브 구동으로의 전환

이러한 한계를 극복하기 위해 등장한 것이 바로 ‘PS5LM Plus’ 같은 포크(Fork) 버전들이에요. 이 버전들은 ‘PS5_Vulkan’, 즉 RADV 그래픽 드라이버 포트를 적극적으로 활용하기 시작했습니다. CPU에만 의존하던 방식에서 벗어나 콘솔의 AMD GPU를 직접 활용하는 네이티브 앱 형태로 구조를 바꾼 것인데요.

이 변화 덕분에 콘솔의 전체 16GB GDDR6 통합 메모리 중 시스템이 쓸 수 있는 메모리 힙(Heap) 공간이 무려 약 11.4GiB까지 대폭 확장되었습니다. 메모리 여유가 늘어나니 다룰 수 있는 모델의 크기와 연산 처리 능력도 자연스럽게 급상승하게 되었죠.

3. 실제 벤치마크 성능과 놀라운 토큰 처리 속도

그렇다면 실제 성능은 어느 정도일까요? 벤치마크 결과는 테크 커뮤니티를 놀라게 하기 충분했습니다.

• 대형 모델 구동: 양자화된 270억 파라미터 모델(예: Qwen 3.8 27B-UD-IQ2_XXS)의 경우, 초당 약 20 토큰(20 tok/s)의 속도로 구동이 가능해졌어요.
• 소형 모델 구동: 가벼운 모델들에서는 그야말로 폭발적인 속도가 나왔습니다. Gemma 4 E4B 모델은 초당 약 61 토큰, Llama 3.2 3B 모델은 초당 약 124 토큰을 기록하며 초당 100+ 토큰(100+ tokens per second)의 벽을 가볍게 넘어섰습니다.

게다가 네트워크 내 다른 기기에서 손쉽게 접속할 수 있도록 포트 8081을 통한 OpenAI 호환 API와 웹 UI까지 제공하고 있어, 실질적인 로컬 AI 서버로서의 사용성을 갖추게 되었답니다.

4. 하드웨어 전문가 평가와 커뮤니티의 반응

하드웨어 전문 매체와 분석가들은 PS5가 지닌 16GB GDDR6 통합 메모리와 448 GB/s의 높은 대역폭이 로컬 AI 구동에 상당한 잠재력을 가지고 있다고 평가해요. 다만, 콘솔의 하드웨어 장벽을 우회하기 위해 2비트 수준의 극단적인 양자화를 거치다 보니 모델의 추론 정확도나 응답 품질 저하는 피할 수 없다는 분석도 함께 나오고 있습니다.

그럼에도 레딧(r/LocalLLM, r/artificial)이나 NeoGAF 같은 커뮤니티 유저들의 반응은 폭발적이에요. '500달러짜리 게임기가 고성능 AI 서버가 되다니 놀랍다', '로컬 AI 테스트용 장비로 완벽하다'는 호평이 이어지고 있죠. 스마트홈 제어, 서버 에러 모니터링, 코딩 보조 등 다양한 실생활 태스크에 활용해보고 싶다는 유머러스한 반응과 함께, 소니의 펌웨어 업데이트나 탈옥에 따른 리스크를 우려하는 목소리도 공존하고 있는 상황이에요.

마치며

이번 PS5 탈옥 기반 로컬 AI 구동 사례는 게임 콘솔이 단순한 게이밍 기기를 넘어 저렴한 비용으로 구축할 수 있는 독창적인 온디바이스 AI 서버로 재활용될 수 있음을 보여준 흥미로운 홈브류 성과예요. 앞으로 또 어떤 기술적 진화가 이어질지 지켜보는 재미가 있을 것 같습니다. 온디바이스 AI와 콘솔 홈브류의 결합에 관심이 있으시다면 관련 오픈소스 프로젝트의 동향을 가볍게 살펴보시는 것도 좋겠네요!