구글 딥마인드, 제마(Gemma) 기반 텍스트 디퓨전 모델 공개
구글 딥마인드는 기존 언어 모델인 Gemma 4를 텍스트 디퓨전 모델로 변환한 'DiffusionGemma'를 공개했습니다. 이 모델은 처음부터 새로 학습시킬 필요 없이 병렬 처리를 통해 매우 빠르고 자가 수정이 가능한 텍스트 생성을 지원합니다. 기존 모델 대비 높은 처리 속도와 향상된 추론 능력을 보여주지만, 절대적인 성능이나 다중 사용자 환경에서의 효율성은 기존 모델에 비해 다소 떨어지는 실험적 단계입니다.
구글 딥마인드는 새로운 모델을 처음부터 학습시키는 대신, Gemma 4를 디퓨전 모델로 개조했습니다. 최근 발표된 기술 보고서는 이 모델의 작동 방식과 장단점을 설명합니다. 구글 딥마인드는 6월 중순 DiffusionGemma 모델을 출시했으며, 이후 기술 보고서를 후속으로 공개했습니다. 텍스트를 한 번에 토큰 하나씩 생성하는 표준 언어 모델과 달리, DiffusionGemma는 이미지 인공지능이 노이즈에서 그림을 추출하는 방식처럼 256개의 토큰 블록을 병렬로 정제합니다. 엔비디아 H100 가속기 기준으로, 이 모델은 초당 약 1,500개의 토큰을 처리합니다.
처음부터 새로운 모델을 학습시킬 필요는 없었습니다. 보고서에 따르면, 연구진은 기존의 Gemma-4-26B-A4B를 시작으로 원래 학습에 사용된 토큰 예산의 10% 미만을 사용하여 이를 디퓨전 모델로 변환했습니다.
품질과 속도를 모두 잡은 두 단계의 학습 두 단계로 이루어진 학습의 첫 번째 단계에서, 모델은 예제 데이터로부터 노이즈가 낀 텍스트 블록을 재구성하는 법을 학습합니다. 이어서 구글이 SD·RL이라고 부르는 강화 학습(Reinforcement learning)과 샘플러 증류(Sampler distillation)가 결합된 단계가 진행됩니다. 강화 학습은 일반적으로 답변의 품질을 높이고, 샘플러 증류는 모델이 더 적은 연산 단계로도 작동할 수 있게 해줍니다. 구글은 이 두 가지를 하나의 과정으로 통합했습니다. 보고서에 따르면, 이 통합된 방식은 추론 벤치마크에서 품질을 평균 10점 높이는 동시에 연산 단계당 토큰 처리 수를 거의 4배로 늘립니다. 부수적인 효과로 DiffusionGemma의 답변 길이는 약 50% 짧아져 처리 속도가 더욱 향상됩니다.
양방향 추론을 통한 모델의 자가 교정 표준 언어 모델은 추론 과정을 모두 마치기 전에 답변의 첫 글자를 확정해야 합니다. 보고서에 실린 수학 문제 예시에서, 기존 Gemma 4는 답변을 "-1"로 시작하지만 풀이 과정에서 "-25"가 정답임을 깨닫고 나중에 수정 사항을 덧붙입니다. 반면 DiffusionGemma는 답변과 추론을 병렬로 전개하기 때문에 최종 결과물이 나오기 전에 실수를 바로잡을 수 있습니다. 스도쿠 풀이 역시 모든 입력값이 뒤따라 나올 입력값에 의존하므로 같은 원리로 작동합니다. 최소한의 미세 조정만 거친 DiffusionGemma는 스도쿠 퍼즐의 약 85%를 정확히 풀어내지만, 기본 모델은 이 작업에 전혀 실패합니다. 보고서에 따르면, JSON이나 코드 수정과 같은 구조화된 출력은 대부분의 토큰이 이미 입력값에 의해 결정되기 때문에 단 2~3회의 정제 과정만으로도 완료됩니다. 또한 DiffusionGemma는 기존처럼 단어별로 텍스트를 생성하는 능력도 유지하여, 사용자가 작업에 따라 두 가지 모드를 선택해 사용할 수 있습니다.
남아있는 추론의 한계 및 다중 사용자 제약 하지만 절대적인 성능은 기존 자기회귀(Autoregressive) 기본 모델에 미치지 못합니다. 구글은 이에 대해 몇 가지 이유를 제시했습니다. DiffusionGemma는 처음부터 디퓨전 모델로 학습된 것이 아니라 사후에 개조되었습니다. 후속 학습 단계는 비교적 짧았고, 두 번째 단계인 SD·RL은 최고의 품질보다 속도를 우선했습니다. 아키텍처, 학습 데이터 및 기타 설정 역시 디퓨전 모델에 이상적이지 않을 수 있는 기존 Gemma 4 모델에서 그대로 가져온 것들입니다. 모델은 때때로 반복 루프에 빠져 개별 단어를 연속으로 여러 번 생성하기도 합니다. 이는 연산 단계를 공격적으로 줄인 결과로 나타나는 부작용입니다. 멀티모달 작업에서는 DiffusionGemma가 추론 섹션을 제대로 닫지 않는 경우가 있어 인위적으로 벤치마크 점수를 끌어내리기도 합니다. 속도의 이점은 주로 단일 사용자 시나리오에 국한됩니다. 약 32개의 동시 요청이 들어오면 표준 언어 모델의 처리량이 따라잡습니다.
구글은 DiffusionGemma를 실험적 모델로 규정하고, 이번 공개가 텍스트 디퓨전에 대한 연구 속도를 높이는 동시에 특수화되고 자원 효율적인 적용을 위한 기반을 커뮤니티에 제공하기 위함이라고 밝혔습니다. 이 모델은 이미 다국어 처리를 위해 스타트업 인터페이즈(Interfaze)에서 사용되고 있습니다.