메뉴

#모델 효율화

HN
Hacker News 43일 전
IMP 8

단 1.58비트로 최고 수준 지능 구현한 '테르나리 분산'

PrismML이 가중치를 단 3가지 값(-1, 0, +1)만 사용하는 1.58비트 언어 모델인 '테르나리 분산(Ternary Bonsai)'을 공개했습니다. 이 모델은 기존 16비트 모델 대비 약 9분의 1 수준의 작은 메모리 용량을 차지하면서도 동급 16비트 모델들을 능가하는 뛰어난 성능을 보여줍니다. 엣지 디바이스에서도 초고속 추론 속도와 높은 전력 효율을 발휘하여, 하드웨어 자원이 제한된 환경에서의 실용적인 AI 배포를 혁신할 것으로 평가받습니다.

경량화/양자화 온디바이스 AI 오픈소스 LLM