구글이 웹 브라우저에서 직접 .tflite 모델을 실행할 수 있는 자바스크립트 라이브러리인 LiteRT.js를 공개했습니다. WebGPU 및 WebNN을 활용하여 기존 대비 최대 60배 향상된 압도적인 추론 성능을 제공하므로, 웹 환경에서 고성능 AI 모델을 서비스하려는 실무자에게 매우 중요한 소식입니다. 단, 텐서(Tensor) 객체를 수동으로 삭제해야 하는 메모리 관리상의 주의점이 존재합니다.
290MB 크기의 초경량 1.7B(17억 파라미터) AI 모델이 WebGPU 기술을 통해 별도의 설치 없이 웹 브라우저 내에서 로컬로 실행됩니다. 사용자는 데모 링크를 통해 접속만으로도 개인 PC의 GPU 자원을 활용해 빠르게 AI를 체험할 수 있습니다. 이는 최신 웹 표준과 경량화 기술(1-bit 양자화)을 결합하여 클라이언트 사이드 AI의 접근성을 극대화했다는 점에서 의미가 있습니다.
해커뉴스에 구글의 'Gemma 4' 모델을 브라우저 내에서 직접 구동하는 크롬 확장 프로그램 'Gemma Gem'이 공개되었습니다. WebGPU를 활용해 별도의 API 키나 클라우드 없이 기기 내에서 AI가 작동하며, 사용자의 데이터를 외부로 전송하지 않아 프라이버시가 강력하게 보호됩니다. 특히 웹페이지 내용 읽기, 버튼 클릭, 폼 작성, 자바스크립트 실행 등 브라우저 상에서의 에이전트(Agent) 작업 수행이 가능하다는 점이 가장 큰 특징입니다.