HN
Hacker News • 9일 전
IMP 6
삼진법 LLM의 1.58비트 한계 돌파
삼진법(Ternary) LLM은 가중치를 {-1, 0, +1} 세 값으로 저장해 이론상 약 1.585비트/가중치가 필요하지만, 실제 모델의 최대 51.5%가 0이라는 점에 착안해 인텔 연구진이 BITCOS라는 분포 적응형 저장 포맷을 제안했습니다. BITCOS는 존재 비트맵과 부호 벡터를 결합해 최소 1.485비트/가중치까지 압축하며, 29개 모델 중 26개에서 기존 5-트리트 패킹보다 작고 CPU/GPU 추론 처리량을 최대 1.27배 향상시킵니다.
삼진법-LLM 모델-압축 추론-최적화