HN
Hacker News • 47일 전
메타, 300억 매개변수 로컬 코딩 AI 'Muse Glimmer' 공개
IMP 8/10
핵심 요약
메타 슈퍼인텔리전스 연구소가 상용 GPU 한 장으로 구동 가능한 300억 매개변수 규모의 로컬 코딩 모델인 'Muse Glimmer'를 아파치 2.0 라이선스로 오픈소스화했습니다. 이 모델은 클라우드나 네트워크 연결 없이도 개인 PC에서 고성능 에이전트 작업, 코드 작성, 도구 활용을 수행할 수 있도록 최적화되었다는 점에서 로컬 AI 생태계 발전에 매우 중요합니다.
번역된 본문
오늘 우리는 메타 슈퍼인텔리전스 연구소(Meta Superintelligence Labs)의 새로운 모델인 Muse Glimmer를 소개하며, 관대한 Apache 2.0 라이선스 하에 모델 가중치(weights)를 오픈소스화합니다. Muse Glimmer는 상시 구동되는 로컬 에이전트 워크플로우에 최적화된 300억 매개변수(30B) 모델입니다. 일반적인 소비자용 GPU 한 장이 장착된 Mac이나 PC에서도 실행될 만큼 작고 가벼워, 로컬 에이전트 및 함수 호출, 로컬 코딩, LLM-as-a-judge 평가에 이르는 다양한 사용 사례를 가능하게 합니다. Muse Glimmer는 동일한 크기의 선도적인 모델들과 비교해 핵심 에이전트 사용 사례 및 벤치마크에서 훌륭한 성능을 발휘합니다.
기초 모델(Foundation models)은 추론, 코드 생성, 도구 사용 등에 걸쳐 놀라운 능력을 달성했지만, 대부분의 배포는 여전히 클라우드 인프라와 네트워크 접속에 의존하고 있습니다. 모델을 로컬에서 실행하면 인터넷 연결 여부와 상관없이 언제 어디서나 AI를 사용할 수 있습니다. 이것은 점점 더 현실화되고 있습니다. 오픈소스 커뮤니티는 더 작은 모델도 효과적으로 훈련하면 특정 작업에서 최고 수준(frontier-level)의 성능에 근접할 수 있음을 보여주었습니다. Muse Glimmer는 이러한 로컬 사용 사례에 맞게 최적화되었습니다. 우리의 핵심 AI 연구를 공유하는 오랜 전통에 따라, 오늘 Hugging Face에 Muse Glimmer 가중치를 공개하고 여러분이 직접 에이전트를 구축하고 실행할 수 있도록 돕는 개발자 문서를 함께 제공합니다.
Muse Glimmer는 개발자가 이미 사용 중인 도구들과 함께 작동하도록 구축되었습니다. llama.cpp, MLX, ExecuTorch에 대한 최적화된 통합은 향후 몇 일 내로 제공될 예정이며, 이를 통해 다운로드부터 작동하는 에이전트 구축까지 단 몇 분 만에 완료할 수 있습니다.
Muse Glimmer 훈련 방법
일정을 관리하고, 메시지를 작성하고, 파일을 정리하며, 사용자의 작업 방식을 학습하는 에이전트는 개인 맥락에 대한 깊은 접근이 필요합니다. 또한 장기적인 실행, 정밀한 도구 호출, 다중 모드 이해, 긴 문맥 기억 및 지시 따르기 등 여러 기능이 조화롭게 작동해야 합니다. 우리는 Muse Glimmer가 로컬 하드웨어의 메모리 및 컴퓨팅 제약과 기능 사이의 균형을 이루도록 설계했습니다. 이를 위해 컴팩트한 아키텍처, 훨씬 더 큰 교사 모델(teacher model)로부터 에이전트 추론 능력을 전달하는 새로운 지식 증류(distillation) 기법, 그리고 지연 시간(latency) 기대치를 충족하기 위한 양자화(quantization)를 포함한 추론 최적화가 필요했습니다. 우리는 다음 단계를 통해 이를 달성했습니다:
- 사전 학습 (Pre-Training): 교사 모델과 유사한 데이터 혼합을 활용하여 Muse Spark의 출력물에 대해 로짓 증류(logit distillation) 방식으로 Muse Glimmer를 훈련했습니다.
- 중간 학습 (Mid-Training): 더 긴 문맥과 풍부한 추론 과정을 담은 에이전트 중심의 데이터와 자연 발생적 데이터를 결합하여 모델을 훈련했습니다.
- 사후 학습 (Post-Training): 감독 미세 조정(supervised fine-tuning)과 정책 기반 증류(on-policy distillation), 그리고 일반, 추론, 코딩 및 에이전트 도메인에 걸친 강화 학습을 혼합하여 적용했습니다.
Muse Glimmer는 메타의 '고급 AI 확장 프레임워크(Advanced AI Scaling Framework)'에 명시된 기준에 따라 평가되었으며, 모든 관련 카테고리에서 오픈 가중치(open-weight) 출시를 위해 평가되었습니다.
에이전트를 위해 탄생: Muse Glimmer의 기능
효과적인 에이전트를 구축하려면 사용자의 목표를 달성하기 위해 핵심 기능들이 함께 작동해야 합니다. Muse Glimmer는 다음의 모든 영역에서 훈련 및 평가를 거쳤습니다:
- 엔드투엔드 에이전트 작업 완료: Muse Glimmer는 스캐폴드 내에서 작업하고 코드를 작성 및 디버깅하며 처음부터 끝까지 다중 턴 요청을 해결하는 능력을 측정하는 DeepSearch QA, MCP-Atlas, 𝛕-Bench 및 SWE-Bench를 포함한 전체 작업 벤치마크에서 높은 성공률을 달성했습니다.
- 안정적인 도구 사용: 이 모델은 광범위한 함수 호출을 처리하고 확장된 워크플로우 전반에 걸쳐 정밀한 스키마로 도구를 호출합니다.
- 다단계 추론 (Multi-Step Reasoning): Muse Glimmer는 장기적인 호라이즌에 걸쳐 추론을 연결하며 복잡하고 확장된 워크플로우에서 일관된 계획을 유지합니다.
- 실패 복구 (Failure Recovery): 도구 호출이 실패하거나 예상치 못한 결과가 반환될 때, 모델은 중단하는 대신 오류를 진단하고 재시도하도록 훈련되었습니다.
- 다중 모드 입력 및 추론: 전용 인지 인코더(perception encoder)를 통해 모델은 텍스트와 이미지가 교차된 형태를 입력받습니다. 이를 통해 에이전트는 대화와 함께 스크린샷, 차트 및 문서를 해석할 수 있습니다.
- 스캐폴드 호환성 (Scaffold Compatib)
원문 보기 (영어)
Today, we're introducing Muse Glimmer, the next model from Meta Superintelligence Labs, and open sourcing the model weights under a permissive Apache 2.0 license. Muse Glimmer is a 30-billion-parameter model optimized for always-on local agent workflows. It’s small enough to run on a Mac or PC with a single consumer GPU, enabling use cases that range from local agents and function calling, to local coding, and LLM-as-a-judge evaluation. Muse Glimmer delivers strong performance on key agentic use cases and benchmarks compared with leading models in its size category. Foundation models have achieved remarkable capabilities across reasoning, code generation, and tool use — yet most deployments still depend on cloud infrastructure and network access. Running models locally enables you to use AI anywhere, anytime, with or without an internet connection. This is increasingly viable: the open source community has shown that smaller models, when trained effectively, can approach frontier-level performance on targeted tasks. Muse Glimmer is optimized for these local use cases. Keeping with our long tradition of sharing fundamental AI research, we're releasing Muse Glimmer open weights today on Hugging Face , along with developer documentation to help you start building and running your own agents. Muse Glimmer is built to work with the tools developers already use. Optimized integrations on llama.cpp, MLX, and ExecuTorch will land in the coming days, so you can go from download to working agent in minutes. How We Trained Muse Glimmer An agent that manages your schedule, drafts your messages, organizes your files, and learns how you work needs deep access to personal context. It also needs several capabilities working in concert: long-horizon execution, precise tool calling, multimodal understanding, long-context memory, and instruction following. We designed Muse Glimmer to balance capability against the memory and compute constraints of local hardware. This required a compact architecture, a novel distillation recipe that transfers agentic reasoning from a much larger teacher model, and inference optimizations — including quantization — to meet latency expectations. We achieved this in the following phases: Pre-Training. We trained Muse Glimmer on Muse Spark's outputs using logit distillation, leveraging a similar data mix as the teacher. Mid-Training. We trained the model on longer-context, more agent-heavy data with richer reasoning traces, alongside organic data. Post-Training. We combined supervised fine-tuning with a mix of on-policy distillation and reinforcement learning across general, reasoning, coding, and agentic domains. Muse Glimmer was evaluated under the standards set out in Meta's Advanced AI Scaling Framework and assessed for open-weight release across all relevant categories. Built for Agents: What Muse Glimmer Can Do Building effective agents requires key capabilities working together to achieve the user’s goals. Muse Glimmer is trained and evaluated across each of the following: End-to-end Agentic Task Completion. Muse Glimmer achieves strong success rates on full-task benchmarks including DeepSearch QA, MCP-Atlas, 𝛕-Bench and SWE-Bench, which measure its ability to work within scaffolds, write and debug code, and resolve multi-turn requests from start to finish. Reliable Tool Use. The model handles a wide range of function calls, invoking tools with precise schemas throughout extended workflows. Multi-Step Reasoning. Muse Glimmer chains reasoning over long horizons, sustaining coherent plans across complex, extended workflows. Failure Recovery. When a tool call fails or returns an unexpected result, the model is trained to diagnose the error and retry rather than halt. Multimodal Input and Reasoning. Through a dedicated perception encoder, the model accepts interleaved text and images. This enables agents to interpret screenshots, charts, and documents alongside conversation. Scaffold Compatibility. Muse Glimmer works across OpenClaw and other agentic orchestration patterns. Controllable Effort. Muse Glimmer supports different reasoning strengths to select the right balance between quality and speed. Multilingual. Muse Glimmer is trained on data from more than 100 languages. Performance We evaluated Muse Glimmer across a broad range of benchmarks to assess the diverse capabilities required for effective autonomous agent behavior. Compared with Gemma4-31B and Qwen3.6-27B, Muse Glimmer performs strongly for its size class on several widely used LLM benchmarks. For more detail about our evaluations, see our report . Optimized for Local Deployments A local agent is truly useful if it's fast enough to feel responsive. An agent that takes minutes to reply or plan its next step breaks the flow of real work. We applied two optimizations to make Muse Glimmer run at practical speeds on consumer hardware without sacrificing quality. Fitting the Model on Your Device. At full precision, a 30-billion parameter model would require over 55 GB of memory — far more than any consumer GPU offers. We use quantization techniques to compress the model's weights to approximately 4-bit precision, shrinking the language model to under 20 GB. This leaves enough headroom for the model's working memory (its "KV cache"), the perception encoder for image understanding, and the speculative decoding drafter to run simultaneously within a 24 GB or 32 GB envelope. We validated that this compression introduces minimal to no degradation on agentic tasks. Faster Generation Through Speculative Decoding. Language models normally generate text one token at a time, which can feel slow during long reasoning chains or multi-step tool calls. Muse Glimmer ships with a lightweight "drafter" model based on DFlash — a small companion network that proposes entire blocks of tokens at once. The main model then verifies these proposals in parallel, accepting correct tokens and correcting wrong ones. This technique lets Muse Glimmer generate text significantly faster than standard token-by-token generation while producing identical output quality. We provide quantized drafter versions to incur a smaller memory overhead in the release. The Result: We measure the speed of our K-Quant-17GB model alongside the quantized DFlash drafter on MacBook M4-Max, M5-Max and on a RTX-5090. The model is fast enough for fluid conversation and real-time agent interaction, all running entirely on your device. Get Started With Muse Glimmer Today Muse Glimmer is available now, and you can download the weights on Hugging Face . In the coming days, run it locally through partners like Ollama, LM Studio, and Unsloth, deploy it with edge frameworks including llama.cpp, ExecuTorch, and MLX, serve it at scale with vLLM and SGLang, or get started quickly through partners like Together AI, Fireworks AI, and OpenRouter. You can even customize it for your use-case by leveraging PyTorch’s TorchTitan training feature to customize the model further. We're also working with our partners including AMD, Arm, Dell, Intel, and NVIDIA to optimize performance across devices. In addition, we’re releasing documentation so developers have the resources they need to get started and build responsibly with Muse Glimmer. This includes guidance on setting up custom scaffolds, so it's even easier to start building and deploying personal agents on day one. You can learn more and find resources to build on Meta's AI Developer Center . This work builds on Meta's long track record of open AI research, extending it into agentic AI and giving developers access to local agentic capabilities. As always, we welcome feedback from the community and can’t wait to see what developers build with this open weights model. Download the Model on HuggingFace Developer Documentation