Hacker News • 9일 전

삼진법 LLM의 1.58비트 한계 돌파

IMP

6/10

핵심 요약

삼진법(Ternary) LLM은 가중치를 {-1, 0, +1} 세 값으로 저장해 이론상 약 1.585비트/가중치가 필요하지만, 실제 모델의 최대 51.5%가 0이라는 점에 착안해 인텔 연구진이 BITCOS라는 분포 적응형 저장 포맷을 제안했습니다. BITCOS는 존재 비트맵과 부호 벡터를 결합해 최소 1.485비트/가중치까지 압축하며, 29개 모델 중 26개에서 기존 5-트리트 패킹보다 작고 CPU/GPU 추론 처리량을 최대 1.27배 향상시킵니다.

번역된 본문

컴퓨터 과학 > 인공지능 arXiv:2609.16338 (cs) [2026년 9월 14일 제출]

제목: 삼진법 LLM의 1.58비트 한계 돌파 (Breaking the 1.58-bit Barrier for Ternary LLMs) 저자: Evangelos Georganas, Alexander Heinecke, Pradeep Dubey

초록: 삼진법(Ternary) 대규모 언어 모델(LLM)은 모든 가중치를 세 기호 {-1, 0, +1} 중 하나로 저장하므로, 삼진법 모델의 비용은 통상 정보이론적 값인 가중치당 log₂3 ≈ 1.585비트를 기준으로 표현됩니다. 현재 널리 쓰이는 배포 포맷은 세 개의 삼진 가중치 다섯 개를 1바이트에 패킹하는 방식(5-트리트 패킹)이며, 실무에서 사용되는 2의 거듭제곱 그룹 크기 때문에 이는 가중치당 1.625비트로 반올림됩니다. 이러한 실효 저장 비트폭은 세 기호 {-1, 0, +1}가 동등한 확률로 나타난다고 가정합니다. 저자들은 29개 삼진법 LLM 모델의 실제 기호 분포를 측정한 결과, 0이 전체 가중치의 최대 51.5%를 차지한다는 사실을 발견했습니다. 이러한 발견에 착안하여, 저자들은 존재 여부를 나타내는 조밀한 비트맵(dense presence bitmap)과 압축된 부호 벡터(compacted sign vector)로 구성된 간단한 분포 적응형 레이아웃인 BITCOS를 제안합니다. BITCOS는 모델 가중치의 0 밀도를 z라고 할 때 가중치 요소당 2 − z 비트의 비용이 듭니다. BITCOS는 테스트한 29개 모델 중 26개에서 5-트리트 패킹보다 더 조밀하게 가중치를 저장하며, 가장 희소한 모델에서는 가중치당 1.485비트에 도달합니다. BITCOS는 최신 프로세서와 GPU에서 효율적인 언패킹이 가능하며, AVX-512, AVX2, 인텔 Xe2 GPU용으로 최적화된 언패킹 시퀀스를 제시합니다. 실제 삼진법 모델이 보이는 0 밀도에서 운영 환경의 최신 수준(state-of-the-art) 삼진법 행렬-벡터 곱셈 커널과 비교 측정한 결과, 제안된 레이아웃의 실현 이득은 최대 1.28배입니다. 마지막으로, 5개의 서로 다른 플랫폼(클라이언트 및 서버 CPU, 통합형 및 독립형 Xe2 GPU)에서 엔드투엔드 LLM 추론 결과를 제시하며, 디코드 처리량이 CPU에서 최대 1.18배, GPU에서 최대 1.27배 향상됩니다.

주제: 인공지능 (cs.AI); 머신러닝 (cs.LG) 인용: arXiv:2609.16338 [cs.AI] https://doi.org/10.48550/arXiv.2609.16338 제출 이력: Evangelos Georganas로부터 [v1] 2026년 9월 14일 (월) 20:54:24 UTC (144 KB) 전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스 보기(라이선스 열람) 현재 탐색 컨텍스트: cs.AI 관련 도구: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기, Connected Papers, Litmaps, scite.ai, alphaXiv, CatalyzeX, DagsHub, Hugging Face, ScienceCast, Replicate, Hugging Face Spaces, TXYZ.AI 등

원문 보기

원문 보기 (영어)

--> Computer Science > Artificial Intelligence arXiv:2609.16338 (cs) [Submitted on 14 Sep 2026] Title: Breaking the 1.58-bit Barrier for Ternary LLMs Authors: Evangelos Georganas , Alexander Heinecke , Pradeep Dubey View a PDF of the paper titled Breaking the 1.58-bit Barrier for Ternary LLMs, by Evangelos Georganas and 2 other authors View PDF HTML (experimental) Abstract: Ternary Large Language Models (LLM) store every weight as one of three symbols $\{-1,0,+1\}$, so the cost of a ternary model is conventionally referenced to the information-theoretic $\log_2 3 \approx 1.585$ bits per weight. The prevailing deployment format packs five ternary weights into one byte (five-trit packing), and due to the power-of-two group sizes used in practice this rounds up to $1.625$ bits per weight. This effective storage bit-width treats the three symbols $\{-1,0,+1\}$ as equiprobable. We measure the actual symbol distribution of 29 ternary LLM models and find that zeros account for up to $51.5\%$ of all weights. Motivated by this finding, we introduce BITCOS, a simple distribution-adaptive layout comprised of a dense presence bitmap plus a compacted sign vector, and costs $2 - z$ bits per weight element given a zero density $z$ in the model's weights. BITCOS stores weights more compactly than the five-trit packing in 26 of the 29 tested models, and reaches $1.485$ bits per weight on the sparsest of them. BITCOS is amenable to efficient unpacking on modern processors and GPUs, and we present optimized unpacking sequences for AVX-512, AVX2 and Intel Xe2 GPUs. Measured against production state-of-the-art ternary matrix-vector multiplication kernels, at the zero densities real-world ternary models exhibit, the realized gain with our proposed layout is up to $1.28\times$. Finally, we illustrate end-to-end LLM inference results on 5 different platforms (client and server CPUs, integrated and discrete Xe2 GPUs) where decode throughput improves by up to $1.18\times$ on CPUs and $1.27\times$ on GPUs. Subjects: Artificial Intelligence (cs.AI) ; Machine Learning (cs.LG) Cite as: arXiv:2609.16338 [cs.AI] (or arXiv:2609.16338v1 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2609.16338 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Evangelos Georganas [ view email ] [v1] Mon, 14 Sep 2026 20:54:24 UTC (144 KB) Full-text links: Access Paper: View a PDF of the paper titled Breaking the 1.58-bit Barrier for Ternary LLMs, by Evangelos Georganas and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI < prev | next > new | recent | 2026-09 Change to browse by: cs cs.LG References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

삼진법-LLM 모델-압축 추론-최적화 양자화 인텔