메뉴

#WebGPU

LL
r/LocalLLaMA 45일 전
IMP 6

1비트 양자화 17억 파라미터 모델, 웹 브라우저에서 구동

290MB 크기의 초경량 1.7B(17억 파라미터) AI 모델이 WebGPU 기술을 통해 별도의 설치 없이 웹 브라우저 내에서 로컬로 실행됩니다. 사용자는 데모 링크를 통해 접속만으로도 개인 PC의 GPU 자원을 활용해 빠르게 AI를 체험할 수 있습니다. 이는 최신 웹 표준과 경량화 기술(1-bit 양자화)을 결합하여 클라이언트 사이드 AI의 접근성을 극대화했다는 점에서 의미가 있습니다.

WebGPU 로컬 AI 브라우저 AI
HN
Hacker News 55일 전
IMP 8

브라우저 내장형 AI 'Gemma Gem' 오픈소스 공개

해커뉴스에 구글의 'Gemma 4' 모델을 브라우저 내에서 직접 구동하는 크롬 확장 프로그램 'Gemma Gem'이 공개되었습니다. WebGPU를 활용해 별도의 API 키나 클라우드 없이 기기 내에서 AI가 작동하며, 사용자의 데이터를 외부로 전송하지 않아 프라이버시가 강력하게 보호됩니다. 특히 웹페이지 내용 읽기, 버튼 클릭, 폼 작성, 자바스크립트 실행 등 브라우저 상에서의 에이전트(Agent) 작업 수행이 가능하다는 점이 가장 큰 특징입니다.

온디바이스 AI 웹 브라우저 크롬 확장프로그램