Hacker News • 53일 전

엣지 기기에서 구동되는 최신 프론티어 AI 모델

IMP

8/10

핵심 요약

로봇 공학 종사자들이 설립한 General Instinct가 엣지 하드웨어에서도 최신 프론티어급 대규모 모델을 구동할 수 있는 기술을 오픈소스로 공개했습니다. 이들은 약 245GB에 달하는 Qwen3.5-122B MoE 모델을 48GB로 압축하여, 8GB VRAM만으로도 로봇 및 엣지 기기에서 구동할 수 있는 혁신적인 성과를 보여주며 로컬 AI의 한계를 크게 뛰어넘었습니다.

번역된 본문

안녕하세요 해커뉴스, General Instinct(https://general-instinct.com/)의 Guanming과 Bill입니다.

우리는 로봇 공학 분야에서 수년간 일해오며 항상 같은 문제에 부딪혔습니다. 바로 성능이 가장 뛰어난 모델들은 우리가 실제로 사용할 수 있는 하드웨어 환경에는 전혀 맞지 않는다는 것입니다.

성능이 가장 뛰어난 모델들은 대개 대형 GPU, 높은 메모리 대역폭, 안정적인 네트워크 연결 등 데이터센터 환경을 기본 전제로 설계되었습니다. 하지만 대부분의 실제 물리적 시스템(로봇 등)은 이와 완전히 반대되는 제약 조건을 가지고 있습니다.

이러한 문제를 해결하기 위해 우리는 최신 프론티어 모델의 성능을 최대한 보존하면서도, 엣지 하드웨어에서 실질적으로 구동할 수 있도록 만드는 방법을 연구하게 되었습니다.

이러한 연구의 일환으로, 우리는 최근 InstinctRazor(https://github.com/General-Instinct/InstinctRazor)를 오픈소스로 공개했습니다.

우리가 매우 기대하고 있는 성과 중 하나는 약 245GB 크기의 BF16 MoE 모델인 Qwen3.5-122B-A10B를 48 GiB 크기의 GGUF로 압축한 것입니다. 결과적으로 이 모델은 Gemma-4-26B-A4B보다 실제로 용량이 더 작으면서도 MMLU-Pro 및 GPQA-D와 같은 벤치마크에서 더 뛰어난 성능을 보여줍니다. 우리는 항상 활성화되는 부분(라우터, 정규화 계층, Gated-DeltaNet/SSM 계층, 비전 처리 경로 등)은 그대로 보존하고, 분산 처리되는 전문가(Expert) 모듈들을 훨씬 더 공격적으로 양자화(Quantize)했습니다. 그런 다음 '온-정책 증류(On-policy distillation)' 기법을 사용하여 양자화 과정에서 손실된 성능을 복원했습니다.

이 모델은 시스템 RAM에서 전문가 모듈을 스트리밍하는 '소형 GPU' 환경에서도 구동될 수 있습니다. 8k 컨텍스트 윈도우 기준으로 최대 VRAM 사용량은 약 7.6~8GB 수준입니다.

이 기술적인 세부 사항에 관심이 있으시다면, 우리가 작성한 접근 방식에 대한 글(https://general-instinct.com/blog/frontier-moe-sub-4-bit)을 확인해 보세요.

우리는 특히 로봇이나 다른 엣지 기기에 모델을 배포하는 분들의 의견을 듣고 싶습니다. 현재 여러분은 어떤 모델을 로컬에서 구동하려고 시도하고 있나요? 어떤

원문 보기

원문 보기 (영어)

Hey HN, Guanming and Bill here from General Instinct (<a href="https://general-instinct.com/">https://general-instinct.com/</a>).After years of working in robotics, we kept running into the same problem: the best models never fit the hardware we actually had available.The models that performed best were usually designed around datacenter assumptions: large GPUs, lots of memory bandwidth, and reliable network access. But most physical systems have the opposite constraints.That led us down the path of figuring out how much of a frontier model could be preserved while still making it practical to run on edge hardware.As part of that work, we recently open sourced InstinctRazor (<a href="https://github.com/General-Instinct/InstinctRazor" rel="nofollow">https://github.com/General-Instinct/InstinctRazor</a>)One result we're excited about is compressing Qwen3.5-122B-A10B, a roughly 245 GB BF16 MoE model, into a 48 GiB GGUF. The resulting model is actually smaller than Gemma-4-26B-A4B while outperforming it on benchmarks like MMLU-Pro and GPQA-D etc. we preserve the parts that are always active (router, norms, Gated-DeltaNet/SSM layers, vision pathway, etc.) and quantize the routed experts much more aggressively. We then use on-policy distillation to recover capability lost during quantization.The model can also run in a "small GPU" configuration where experts are streamed from system RAM. With an 8k context window, peak VRAM usage is around 7.6–8 GB.If you're interested in the technical details, we wrote up the approach here (<a href="https://general-instinct.com/blog/frontier-moe-sub-4-bit">https://general-instinct.com/blog/frontier-moe-sub-4-bit</a>)We're especially interested in hearing from people deploying models onto robots or other edge devices. What models are you trying to run locally today? What has be

엣지 AI 모델 압축 오픈소스 양자화 로봇 공학