BL
r/LocalLLaMA • 40일 전
M3 울트라 512GB 램 맥 스튜디오 2대 테스트
IMP 4/10
핵심 요약
25,000달러(약 3,300만 원)에 달하는 512GB RAM 탑재 M3 Ultra 맥 스튜디오 2대를 활용해 대규모 로컬 AI 모델 구동 및 테스트를 진행 중입니다. 작성자는 DeepSeek V3 및 GLM 5.1 모델을 Exo 백엔드 환경에서 실행하며, 앞으로 커뮤니티의 MLX 최적화가 이루어질 Kimi 모델도 대기하고 있습니다. 이는 애플 실리콘의 압도적인 메모리 용량을 활용해 거대 AI 모델을 로컬에서 구동하려는 실무자들의 최신 트렌드를 잘 보여줍니다.
번역된 본문
하드웨어 가격만 25,000달러(약 3,300만 원) 들였습니다. 어떤 모델을 올려서 테스트하기를 원하는지 말씀해 주시면, 제가 직접 테스트를 도와드리겠습니다.
지금까지는 Exo 백엔드를 사용해서 DeepSeek V3.2 Q8 모델을 구동해 봤습니다.
현재는 각 맥 스튜디오에 GLM 5.1 Q4 모델을 돌리고 있는 상황입니다(Exo에서 Q8 버전을 불러오지 못하는 문제를 해결 중입니다).
커뮤니티에서 Kimi 2.6 모델이 MLX/mmap에 맞게 최적화될 때까지 기다리고 있습니다.
원문 보기 (영어)
$25k in hardware. tell me what you want me to load on them and i'll help test.
i've done deepseek v3.2 Q8 so far with exo backend.
currently running GLM 5.1 Q4 on each (troubleshooting why exo isn't loading the Q8 version)
patiently awaiting kimi2.6 for when the community optimizes it for MLX/mmap