MacStories 리뷰어가 RAM 256GB를 장착한 M5 Ultra Mac Studio를 테스트한 결과, 클라우드 비용 없이 로컬 모델 기반 개인 비서 에이전트를 빠르게 구동할 수 있는 최적의 머신이라 평가했습니다. 메모리 대역폭에서는 RTX 5090이 여전히 앞서지만, 크기·발열·소음·통합 메모리 구조 측면에서 M5 Ultra가 압도적으로 실용적이라며 로컬 AI 활용 패러다임을 바꿨다고 강조했습니다.
M3 맥 스튜디오 얼트라 환경에서 5만 토큰 이상의 긴 대화 컨텍스트를 처리할 때 첫 토큰 생성까지 수 분이 걸리던 치명적인 지연 문제를 해결한 사례입니다. 저자는 DS4 Flash 모델에서 지연 시간이 더 짧은 Qwen 3.5 122B로 교체하고, 하이브리드 어텐션 구조로 인한 캐시 메모리 누수 등 서빙 스택의 버그 3가지를 직접 수정하여 로컬 환경에서도 실사용이 가능한 에이전트 코딩 환경을 구축했습니다. 로컬 LLM 최적화 및 Mac 하드웨어 활용에 관심 있는 개발자들에게 매우 유용한 기술적 인사이트를 제공합니다.
25,000달러(약 3,300만 원)에 달하는 512GB RAM 탑재 M3 Ultra 맥 스튜디오 2대를 활용해 대규모 로컬 AI 모델 구동 및 테스트를 진행 중입니다. 작성자는 DeepSeek V3 및 GLM 5.1 모델을 Exo 백엔드 환경에서 실행하며, 앞으로 커뮤니티의 MLX 최적화가 이루어질 Kimi 모델도 대기하고 있습니다. 이는 애플 실리콘의 압도적인 메모리 용량을 활용해 거대 AI 모델을 로컬에서 구동하려는 실무자들의 최신 트렌드를 잘 보여줍니다.