새로 출시된 Bonsai-8B 모델은 1비트 및 1.58비트(삼진법) 양자화 버전 모두 구글의 Gemma-4-E2B 모델보다 지능 및 정답률이 현저히 낮은 것으로 나타났습니다. 특히 1.58비트 모델은 파일 크기마저 Gemma보다 33% 더 큰 치명적인 단점을 보여주며, 실무적인 활용 가치가 거의 없음을 시사합니다.
샤오미 12 Pro 스마트폰을 안드로이드 UI를 제거한 헤드리스Headless 환경으로 세팅하여 24시간 구동되는 로컬 AI 서버로 개조한 사례입니다. 배터리 보호 및 발열 제어 자동화를 거친 후, Ollama를 통해 Gemma4 모델을 LAN 내에서 API 형태로 서빙하는 방식입니다. 이는 고성능 모바일 기기를 활용해 별도의 서버 장비 없이도 저전력 로컬 LLM 환경을 구축할 수 있다는 것을 보여줍니다.
구글의 경량화 라이브러리를 이용해 Gemma 4 모델에서 Multi-Token Prediction(MTP) 초안 모델을 추출하는 방법을 공유하는 게시글입니다. 작성자는 C++ 소스 코드와 TFLite 그래프를 분석해 MTP 구조를 파악해야 한다며 커뮤니티에 리버스 엔지니어링을 요청했습니다.
구글이 Wispr Flow, SuperWhisper 등과 경쟁하기 위해 오프라인에서도 AI 받아쓰기가 가능한 'Google AI Edge Eloquent' 앱을 iOS용으로 조용히 출시했습니다. 이 앱은 온디바이스 기반의 Gemma 모델을 사용하여 음성을 텍스트로 변환하고, 불필요한 추임새를 자동으로 제거하여 깔끔한 문장으로 다듬어주는 것이 특징입니다. 현재는 iOS 버전만 제공되지만 향후 안드로이드 통합 기능도 지원될 예정이며, 이번 실험적 출시를 통해 구글의 본격적인 음성 AI 시장 진출을 확인할 수 있습니다.
오픈소스 모델인 Gemma를 활용해 오디오와 비디오를 입력받아 음성으로 출력하는 실시간 AI가 Apple M3 Pro 환경에서 로컬 구동되는 것을 확인한 사례입니다. 복잡한 에이전트 코딩은 불가능하지만 다국어 처리가 가능하여 언어 학습용으로 혁신적인 활용성을 보여줍니다. 수년 전 OpenAI가 시연했던 것과 같이 스마트폰 카메라로 사물을 인식하고 모국어로 소통하는 미래가 로컬 환경에서도 가까워지고 있습니다.