BL
r/LocalLLaMA • 45일 전
1비트 양자화 17억 파라미터 모델, 웹 브라우저에서 구동
IMP 6/10
핵심 요약
290MB 크기의 초경량 1.7B(17억 파라미터) AI 모델이 WebGPU 기술을 통해 별도의 설치 없이 웹 브라우저 내에서 로컬로 실행됩니다. 사용자는 데모 링크를 통해 접속만으로도 개인 PC의 GPU 자원을 활용해 빠르게 AI를 체험할 수 있습니다. 이는 최신 웹 표준과 경량화 기술(1-bit 양자화)을 결합하여 클라이언트 사이드 AI의 접근성을 극대화했다는 점에서 의미가 있습니다.
번역된 본문
원문 보기 (영어)
Link to demo: [https://huggingface.co/spaces/webml-community/bonsai-webgpu](https://huggingface.co/spaces/webml-community/bonsai-webgpu)