#모델 압축

PrismML, 5.9GB 삼진법 모델 'Ternary Bonsai 2 27B' 공개

PrismML이 Qwen3.8 27B를 삼진 가중치(Ternary)로 압축한 'Ternary Bonsai 2 27B'를 아파치 2.0 라이선스로 공개했습니다. FP16 대비 약 9분의 1 수준인 5.93GB 크기임에도 20개 벤치마크 평균의 98.2% 성능을 유지하며, 텍스트와 이미지 입력 및 26만 토큰 컨텍스트를 지원합니다. 소비자급 GPU에서도 대형 멀티모달 모델 실행이 가능해졌다는 점에서 주목할 만합니다.

본사이 2 27B, 9배 작은 용량으로 거의 무손실 압축

PrismML이 삼진법(trinary) 가중치 기반의 'Ternary Bonsai 2 27B'를 공개했습니다. Qwen3.8 27B를 기반으로 하며, 전체 원본 모델 대비 9배 이상 작은 5.9GB 크기로 벤치마크 성능의 98.2%를 유지합니다. 로컬 기기에서 코딩 에이전트, 컴퓨터 사용, 멀티모달 작업 등 실질적인 지식 노동이 가능해졌다는 점에서 주목할 만합니다.

엣지 기기에서 구동되는 최신 프론티어 AI 모델

로봇 공학 종사자들이 설립한 General Instinct가 엣지 하드웨어에서도 최신 프론티어급 대규모 모델을 구동할 수 있는 기술을 오픈소스로 공개했습니다. 이들은 약 245GB에 달하는 Qwen3.5-122B MoE 모델을 48GB로 압축하여, 8GB VRAM만으로도 로봇 및 엣지 기기에서 구동할 수 있는 혁신적인 성과를 보여주며 로컬 AI의 한계를 크게 뛰어넘었습니다.