구글 제마 4 QAT 모델: 모바일·노트북 최적화
구글 딥마인드가 모바일 및 노트북 등 일상적인 엣지 디바이스에서의 구동 효율을 극대화하기 위해 '양자화 인식 훈련(QAT)'이 적용된 Gemma 4 모델을 공개했습니다. 일반적인 양자화 방식(PTQ)보다 모델의 품질 저하를 최소화하며, 특히 모바일 전용 양자화 스키마를 통해 소형 모델(E2B)의 메모리 사용량을 1GB 미만으로 획기적으로 줄였습니다. 이를 통해 소비자용 GPU 및 모바일 환경에서도 로컬 기반의 고성능 AI 모델을 원활하게 실행할 수 있게 되었습니다.
제목: Gemma 4 QAT 모델: 모바일 및 노트북 효율성을 위한 모델 압축 최적화 날짜: 2026년 6월 5일
새로운 버전의 Gemma 4 제품군은 양자화 인식 훈련(QAT, Quantization-Aware Training)으로 최적화되어 메모리 요구 사항을 획기적으로 줄이고 온디바이스 성능을 극대화합니다.
올리비에 라콤(Olivier Lacombe) 구글 딥마인드 제품 관리 이사 오마르 산세비에로(Omar Sanseviero) 구글 딥마인드 기술 직원
2개월 전 Gemma 4를 공개한 이후, 우리는 그 기능을 확장하기 위해 끊임없이 노력해 왔습니다. 처음에는 추론 속도를 높이기 위해 다중 토큰 예측(MTP, Multi-Token Prediction)을 도입했고, 며칠 전에는 E4B와 26B MOE 모델 사이의 간극을 메우기 위해 12B 모델을 출시했습니다. 오늘 우리는 일상적인 엣지 기기와 소비자용 GPU에서 모델을 로컬로 실행할 수 있도록 Gemma 4의 효율성을 더욱 높이기 위해 QAT(Quantization-Aware Training)로 최적화된 새로운 체크포인트를 공개합니다. 훈련 중에 양자화를 시뮬레이션하는 방식인 QAT는 모델이 압축될 때 발생하는 품질 손실을 최소화합니다. 이번 릴리스에는 널리 사용되는 Q4_0 양자화 형식과 모바일 사용 사례에 특화된 새로운 양자화 형식 모두에 대한 QAT 체크포인트가 포함되어 있습니다. 이 모바일 형식을 사용하여 Gemma 4 E2B의 메모리 사용량을 1GB로 줄였습니다. 이를 통해 Gemma 4에서 기대하는 기능과 품질을 유지하면서 메모리 요구 사항을 극적으로 줄일 수 있습니다.
크기를 줄이면서도 모델의 품질 유지하기 양자화는 메모리 공간을 줄이고 디코딩 속도를 높여 소비자 하드웨어에서 모델을 실행할 수 있게 하는 핵심 기술입니다. 그러나 표준 훈련 후 양자화(PTQ, Post-Training Quantization)는 종종 성능 저하를 초래합니다. 훈련 후에 단순히 모델을 양자화하는 대신, QAT는 양자화 프로세스를 훈련 과정에 직접 통합합니다. PTQ는 이미 품질 유지에 효과적이지만, 당사의 QAT 결과는 표준 PTQ 기준선과 비교하여 전반적으로 훨씬 더 높은 품질을 제공합니다. 우리는 모든 모델의 성능을 극대화하기 위해 이 QAT 방식을 널리 쓰이는 Q4_0 형식에 적용했습니다. 엣지 모델(E2B 및 E4B)의 경우, 특별한 모바일 전용 양자화 스키마를 통해 양자화 접근 방식을 새롭게 구상했습니다.
VRAM 및 저장 공간 절약 아래는 모델을 로드하는 데 필요한 VRAM의 양을 나타내는 대략적인 메모리 요구 사항입니다:
내부적인 모바일 기기 최적화 표준 압축 형식은 모바일 프로세서가 효율적으로 실행하기 어려운 경우가 많습니다. 모바일 환경에서 Gemma 4가 원활하게 작동하도록 보장하기 위해 우리는 엣지 하드웨어용으로 설계된 맞춤형 모바일 양자화 스키마를 개발했습니다:
- 정적 활성화(Static activations): 일반적으로 모델은 데이터의 스케일을 동적으로 계산하면서 처리 능력을 낭비합니다. 우리는 훈련 중에 이러한 설정을 미리 계산하여 모바일 칩의 작업량을 줄이고 응답 속도를 높였습니다.
- 채널별 양자화(Channel-wise quantization): 모바일 가속기의 설계에 맞게 압축된 데이터의 구조를 조정했습니다. 이를 통해 스마트폰이 느린 우회 방법 없이 기본적으로 계산을 실행할 수 있습니다.
- 타겟팅된 2비트 양자화(Targeted 2-bit quantization): 모델의 핵심 추론 레이어는 높은 정밀도를 유지하면서, 토큰을 생성하는 특정 부분은 2비트로 집중적으로 압축했습니다. 이를 통해 모델의 지능 저하 없이 저장 공간을 절약합니다.
- 임베딩 및 KV 캐시 최적화(Embedding and KV cache optimization): 모델의 어휘 목록과 단기 메모리에 압축을 집중했습니다. 이를 통해 활성 메모리 사용량이 극적으로 줄어들어, 공간이 부족해지는 현상 없이 긴 대화를 나눌 수 있습니다.
많은 사용 사례에서 오디오 및 비전 인코더가 필요하지 않으므로, 필요한 모달리티만 배포하여 메모리 사용량을 훨씬 더 최적화할 수 있습니다. 예를 들어, 텍스트 전용 Gemma 4 E2B 모델(레이어별 임베딩 제외)은 1GB 미만의 메모리만 필요합니다.
오늘 시작하기 선호하는 도구로 이러한 모델을 쉽게 사용할 수 있도록...