메뉴
HN
Hacker News • 14일 전

스마트폰에서 구동되는 최초의 27B급 AI 모델 '분사이(Bonsai)'

IMP
9/10
핵심 요약

PrismML이 1비트(1-bit) 및 3진법(ternary) 양자화 기술을 적용한 초경량 AI 모델 '분사이 27B(Bonsai 27B)'를 공개했습니다. 이 모델은 스마트폰이나 일반 노트북 환경에서도 270억 개 매개변수(27B) 수준의 고성능 추론, 코딩, 시각 및 에이전트 기능을 온디바이스로 실행할 수 있게 해주는 패러다임 전환적 의미를 지닙니다. 지능 손실은 최소화(기존 대비 90~95% 성능 유지)하면서도 메모리는 혁신적으로 절감하여, 강력한 오픈소스 AI의 모바일 활용을 본격화할 것으로 기대됩니다.

번역된 본문

블로그, 뉴스, 채용, 문서 소개 등 기본 메뉴 및 바이너리 코드 (1001011100 11010 001) 전체 게시물로 돌아가기

분사이 27B(Bonsai 27B) 발표: 스마트폰에서 구동되는 최초의 27B급 모델 2026년 7월 14일 • PrismML

오늘 저희는 Qwen3.6 27B를 기반으로 하는 분사이(Bonsai) 패밀리의 새로운 다중모달 플래그십이자 해당 성능 등급 중 최초로 스마트폰에서 구동되는 모델, '분사이 27B'를 발표합니다. 저희의 이전 릴리스는 1비트 및 3진법 가중치를 가진 모델이 상업적으로 유용한 언어 모델을 생성할 수 있음을 증명했습니다. 분사이 27B는 이러한 한계를 다단계 추론, 구조화된 도구 호출(tool calls), 시각 작업, 그리고 여러 단계에 걸쳐 일관성을 유지하는 컴퓨터 사용 에이전트 루프와 같은 새로운 기능 등급으로 확장합니다.

오늘날까지 이러한 수준의 모델을 로컬에 배포하는 것은 명확한 이유로 인해 비현실적이었습니다. 27B 모델은 16비트 정밀도에서 약 54GB의 공간을 차지하며, 18GB에 불과한 우수한 4비트 빌드조차 스마트폰은 물론 대부분의 노트북에는 너무 큽니다. 분사이 27B는 이를 변경했습니다. 이 모델은 두 가지 변형으로 제공됩니다:

  • 3진법 분사이 27B(Ternary Bonsai 27B): FP16 그룹별 스케일링이 적용된 3진법 {-1, 0, +1} 가중치를 사용하여 가중치당 실제 1.71개의 유효 비트를 제공합니다. 5.9GB 크기의 품질 중심 변형으로, 완전한 추론, 도구 호출 및 에이전트 기능을 갖추고 일상적인 노트북에서 실행될 수 있습니다.
  • 1비트 분사이 27B(1-bit Bonsai 27B): 동일한 그룹별 스케일링이 적용된 이진법 {-1, +1} 가중치를 사용하여 가중치당 1.125개의 유효 비트를 제공합니다. 3.9GB 크기의 공간 최적화 변형으로, 아이폰 17 프로의 메모리 예산 내에 맞도록 설계되어 최초로 27B급 모델을 스마트폰으로 가져왔습니다.

모든 분사이 릴리스와 마찬가지로, 저비트 표현은 더 높은 정밀도의 탈출구 없이 언어 네트워크, 임베딩, 어텐션(attention), MLP 및 LM 헤드 전체에 걸쳐 엔드투엔드로 실행됩니다. 두 변형 모두 다중모달(Multimodal)을 지원합니다. 비전 타워(Vision tower)는 압축된 4비트 형태로 제공되어, 온디바이스 워크플로우가 단순한 텍스트뿐만 아니라 스크린샷, 문서 및 카메라 입력까지 처리할 수 있습니다. 분사이 27B는 262K 토큰의 전체 컨텍스트를 지원하며, 무손실 초안 및 검증 가속도를 제공하는 추측 디코딩(speculative-decoding)을 지원하여 속도를 한츳 더 높입니다. 모든 것은 오늘 Apache 2.0 라이선스에 따라 제공됩니다.

지능 유지

지식, 추론, 수학, 코딩, 지시 수행, 도구 호출 및 비전에 걸친 15개 벤치마크 모음(모델의 전체 추론 기능이 실행되는 '생각 모드'에서 평가됨)에서, 3진법 분사이 27B는 원본 모델 대비 95%의 성능을 유지했으며, 1비트 분사이 27B는 90%의 성능을 유지했습니다.

  • 수학 (GSM8K, MATH-500, AIME25, AIME26): 원본 95.3 / 3진법 93.4 / 1비트 91.7
  • 코딩 (HumanEval+, MBPP+, LiveCodeBench): 원본 88.7 / 3진법 86.0 / 1비트 81.9
  • 에이전트 및 도구 호출 (BFCL v3, TauBench): 원본 80.0 / 3진법 74.0 / 1비트 66.0
  • 지시 수행 (IFEval, IFBench): 원본 78.4 / 3진법 71.8 / 1비트 65.8
  • 지식 / STEM (MMLU-Redux, MuSR): 원본 83.1 / 3진법 77.0 / 1비트 73.4
  • 비전 (MMMU Pro, OCRBench): 원본 72.6 / 3진법 65.2 / 1비트 59.6
  • 전반적 (15개 벤치마크 평균): 원본 85.0 / 3진법 80.5 / 1비트 76.1

그림 I: 원본 모델과 비교한 분사이 27B(생각 모드)의 벤치마크 점수. 벤치마크별 전체 결과는 백서를 참조하십시오.

기능별로 표를 분석해 보면 평균치보다 더 명확한 사실을 알 수 있습니다. 수학과 코딩은 거의 영향을 받지 않았으며, 도구 호출 역시 원본과 불과 몇 점 차이 내에 머물러 있습니다. 이는 정확히 에이전트 워크로드가 의존하는 핵심 기능들입니다. 비교를 위해 동일한 기본 모델의 가장 공격적인 기존 저비트 빌드는 1비트 분사이 27B보다 현저히 낮은 점수를 기록하면서도 2.5배 더 많은 메모리를 차지합니다.

이는 저희가 이전의 언어 및 이미지 모델로 보여주었던 것과 동일한 파레토 변환(Pareto shift)이 이제 27B 규모에서 실현된 것입니다. 즉, 원본 2B 모델보다 작은 크기로 27B급 기능을 제공합니다. 1비트 분사이 8B와 함께 저희가 도입한 척도인 '지능 밀도(Intelligence density)' 측면에서, 1비트 분사이 27B는 1GB당 0.53을 제공합니다. 이는 원본 모델(Full-precision baseline)보다 10배 이상 높은 수치이며, 현재 사용 가능한 최고의 저비트 대안보다 약 2.7배 높은 수치입니다.

왜 이것이 중요한 패러다임 전환인가

가장 가치 있는 AI 워크로드는 단순한 1회성 응답에서 지속적인 작업으로 전환되고 있습니다. 실제 도구를 작동하는 어시스턴트, 결과를 반환하기 전에 감독 없이 실행되는 워크플로우, 수십 개의 정보를 종합하는 연구 등이 바로 그것입니다.

원문 보기
원문 보기 (영어)
About Blog News Careers Docs LAUNCH 1001011100 11010 001 Back to all posts Announcing Bonsai 27B: The First 27B-Class Model to Run on a Phone July 14, 2026 • PrismML Today, we're announcing Bonsai 27B, based on Qwen3.6 27B, the new multimodal flagship of the Bonsai family and the first model of its capability class to run on a phone. Our earlier releases proved that models with 1-bit and ternary weights could produce commercially useful language models. Bonsai 27B extends that frontier to a new capability tier: multi-step reasoning, structured tool calls, vision tasks, and computer-use agentic loops that stay coherent across many steps. Until today, deploying that tier locally has been impractical for a concrete reason: a 27B model occupies roughly 54GB in 16-bit precision, and even a good 4-bit build, at 18GB, is too large for a phone and for most laptops. Bonsai 27B changes that. It comes in two variants: Ternary Bonsai 27B uses ternary {−1, 0, +1} weights with FP16 group-wise scaling, giving a true 1.71 effective bits per weight. At 5.9 GB, it is the quality-oriented variant: it runs on an everyday laptop with the full reasoning, tool-calling, and agentic capability. 1-bit Bonsai 27B uses binary {−1, +1} weights with the same group-wise scaling, giving 1.125 effective bits per weight. At 3.9 GB, it is the footprint-oriented variant, which fits within the memory budget of an iPhone 17 Pro, bringing a 27B-class model onto a phone for the first time. As with every Bonsai release, the low-bit representation runs end to end across the language network, embeddings, attention, MLPs, and the LM head, with no higher-precision escape hatches. Both variants are multimodal, with the vision tower shipping in a compact 4-bit form so on-device workflows can see screenshots, documents, and camera input, not just text. Bonsai 27B carries a full 262K-token context, and supports speculative-decoding, compounding the speed with lossless draft-and-verify acceleration. Everything is available today under the Apache 2.0 License. Retaining the intelligence Across a 15-benchmark suite spanning knowledge, reasoning, math, coding, instruction following, tool calling, and vision (evaluated in thinking mode, where the model's full reasoning is exercised) Ternary Bonsai 27B retains 95% of the full-precision baseline, and 1-bit Bonsai 27B retains 90% . Category (benchmarks) Qwen 3.6 27B Ternary Bonsai 27B 1-bit Bonsai 27B Math (GSM8K, MATH-500, AIME25, AIME26) 95.3 93.4 91.7 Coding (HumanEval+, MBPP+, LiveCodeBench) 88.7 86.0 81.9 Agentic and Tool-calling (BFCL v3, TauBench) 80.0 74.0 66.0 Instruction following (IFEval, IFBench) 78.4 71.8 65.8 Knowledge / STEM (MMLU-Redux, MuSR) 83.1 77.0 73.4 Vision (MMMU Pro, OCRBench) 72.6 65.2 59.6 Overall (15 benchmarks) 85.0 80.5 76.1 ‍ Fig I: Benchmark scores of Bonsai 27B (thinking mode) against the full-precision baseline. Full per-benchmark results are in the whitepaper. ‍ Read the table by capability and the story is sharper than the averages: math and coding are nearly untouched, tool calling stays within a few points of full precision - exactly the capabilities that agentic workloads depend on. For comparison, the most aggressive conventional low-bit build of the same base model scores significantly lower than 1-bit Bonsai 27B while occupying 2.5x more memory. This is the same Pareto shift we demonstrated with our earlier language and image models, now at 27B scale: 27B-class capability at a footprint smaller than a full-precision 2B model. By intelligence density — the measure we introduced with 1-bit Bonsai 8B — 1-bit Bonsai 27B delivers 0.53 per GB: more than 10x the full-precision baseline, and roughly 2.7x the best low-bit alternative available. Why this is an important paradigm shift The most valuable AI workloads are shifting from single responses to sustained work: assistants that operate real tools, workflows that run unattended before returning a result, and research that synthesizes dozens of documents. This shift changes the shape of the workload — an agent doesn't make one model call, it makes hundreds, each one carrying context, producing structured output, and feeding the next. Cloud APIs will remain the right choice for many products. But for agentic workloads, cloud-only execution imposes structural constraints: every step is a remote request, per-token cost accumulates with every iteration, and every plan, tool call, and intermediate result crosses the network including the user's private files, screen, and data. Carousel I: End-to-end agentic workflow with Hermes, powered by our Ternary Bonsai 27B model on NVIDIA GeForce RTX 5090. Carousel II: Agentic tool calling and MCP integration with Ternary Bonsai 27B on M5 Max. Local execution changes the equation. When a model capable of sustained agentic work fits on the device, the agent can live inside the product: the marginal cost of a hundred-step loop is zero, and the user's data never leaves the machine. Entire categories open up — persistent on-device agents, assistants that work offline, assistants that reason over private local data by construction. What has been missing is a model small enough to deploy this way and capable enough to trust with the work. Bonsai 27B is that model. It also unlocks a new system architecture: hybrid deployments that route non-frontier and privacy-sensitive tasks to a capable local model and reserve frontier cloud models for the hardest steps — collapsing the cost-per-task of agentic systems. Bonsai 27B reaches up to 163 tok/s in 1-bit and 134 tok/s in Ternary on an NVIDIA GeForce RTX 5090. On an M5 Max, it reaches up to 87 tok/s in 1-bit and 58 tok/s in Ternary. Fitting a phone is a stricter gate than storage numbers suggest. A phone never exposes its full memory to an app - a 12 GB iPhone offers about 6 GB for the model to use on-device, and the model shares that budget with its KV cache and activations. No conventional build of a 27B model comes close to clearing it. At about 4 GB, 1-bit Bonsai 27B is the first to pass through with room to work. That constraint is why the family ships two deliberate operating points, specifically keeping that in mind: ternary for laptop-class quality, 1-bit for phone-class footprint. Demo II: Multimodal agentic use-cases powered by 1-Bit Bonsai 27B on an iPhone 17 Pro Max (Demo Mode: Cached & Prefilled Image Context) The frontier keeps moving Every Bonsai release has moved the intelligence-per-gigabyte frontier left, and Bonsai 27B moves it past a practical threshold: the full capability set of a modern model with thinking, multimodal understanding, vision, reliable tool use, now fits on the devices people already own. We believe intelligence density will be one of the defining axes of the next stage of AI progress. Raw capability determines what a model can do; density determines where it can do it. Every leftward shift of the frontier expands the set of devices, products, and environments where advanced AI can operate and changes the economics of every deployment surface it touches, from phones to single-GPU serving. The methodology behind Bonsai is architecture-agnostic, and the frontier will keep moving: larger models and new architectures are already in progress. Early computers filled rooms; today they live in our pockets. Intelligence is making the same journey, and Bonsai 27B is its largest step yet. Platform Coverage Bonsai 27B runs natively on Apple devices (Mac, iPhone, iPad) via MLX and on NVIDIA GPUs via CUDA, through custom low-bit kernels built for its hybrid-attention architecture. Model weights are available today under the Apache 2.0 License. With this release, we’re offering a free, limited-time developer preview API so developers can easily try our model. Full technical details of our compression, evaluation, and benchmarking processes are available in our whitepaper . Join Us PrismML emerged from a team of Caltech researchers and was founded with s
온디바이스 AI 초경량 모델 1비트 LLM 오픈소스 양자화