HN
Hacker News • 48일 전
디퓨전 젬마: 기존 대비 4배 빠른 텍스트 생성
IMP 9/10
핵심 요약
구글이 텍스트를 병렬로 동시 생성하는 오픈소스 모델 'DiffusionGemma(디퓨전 젬마)'를 공개했습니다. 기존의 순차적 토큰 생성 방식을 탈피하여 단일 GPU에서 초당 1,000개 이상의 토큰을 생성하며, 고성능 소비자용 GPU에서도 원활하게 구동되는 것이 특징입니다. 양방향 어텐션(Bi-directional attention) 메커니즘을 통해 자가 교정 및 코드 삽입과 같은 비선형 텍스트 작업에 강점을 발휘하여 실시간 AI 애플리케이션 개발에 중요한 역할을 할 전망입니다.
번역된 본문
오늘 우리는 텍스트 생성에 있어 매우 빠른 접근 방식인 텍스트 디퓨전(text diffusion)을 탐구하는 실험용 오픈 모델인 DiffusionGemma를 소개합니다. Apache 2.0 라이선스로 출시된 이 26B MoE(Mixture of Experts) 모델은 전통적인 자기회귀(Autoregressive) 대형 언어 모델(LLM)의 순차적인 토큰 단위 처리 방식에서 벗어납니다. 대신 전체 텍스트 블록을 동시에 생성하여 GPU에서 최대 4배 더 빠른 텍스트 생성을 제공합니다.
업계를 선도하는 Gemma 4 모델 패밀리의 매개변수당 지능(Intelligence-per-parameter)과 최첨단 Gemini Diffusion 연구를 바탕으로 구축된 DiffusionGemma는 생성 속도를 극대화하기 위해 설계된 새로운 디퓨전 헤드(diffusion head)를 통합했습니다. 자기회귀 방식의 Gemma 4 모델이 고품질의 프로덕션 출력을 위한 표준으로 남아 있지만, DiffusionGemma는 인라인 편집, 빠른 반복, 비선형 텍스트 구조 생성과 같이 속도가 중요한 인터랙티브 로컬 워크플로를 탐구하는 연구원과 개발자를 위해 설계되었습니다.
개발자를 위한 새로운 가치 창출 실시간 대화형 AI 애플리케이션을 구축하는 개발자들은 종종 로컬 추론의 지연 병목 현상으로 어려움을 겪습니다. DiffusionGemma는 다음과 같은 핵심적인 트레이드오프를 통해 이러한 문제를 직접적으로 해결합니다.
- 매우 빠른 추론 속도: 디코딩 병목 현상을 메모리 대역폭에서 컴퓨팅으로 전환함으로써, 전용 GPU에서 최대 4배 더 빠른 토큰 출력을 생성합니다. (단일 NVIDIA H100에서 초당 1,000개 이상의 토큰, NVIDIA GeForce RTX 5090에서 초당 700개 이상의 토큰).
- 접근 가능한 하드웨어 요구 사항: 추론 시 3.8B(38억) 개의 매개변수만 활성화하는 26B MoE 모델로 작동하며, 양자화 시 고급 소비자용 GPU의 18GB VRAM 한도 내에서도 여유롭게 구동됩니다.
- 양방향 어텐션(Bi-directional attention): 각 순방향 패스에서 256개의 토큰을 병렬로 생성하여 모든 토큰이 서로를 참조할 수 있습니다. 이는 인라인 편집, 코드 채우기(code infilling), 아미노산 서열 또는 수학적 그래프와 같은 비선형 영역에서 상당한 이점을 제공합니다.
- 지능형 자가 교정: 모델이 자체 출력을 반복적으로 다듬어 전체 텍스트 블록을 한 번에 평가하고 실시간으로 실수를 수정할 수 있습니다.
실험적 상태 및 프로덕션 권장 사항: 속도와 병렬 레이아웃 생성을 우선시하기 때문에 DiffusionGemma의 전반적인 출력 품질은 표준 Gemma 4보다 낮습니다. 최고의 품질이 요구되는 애플리케이션의 경우 표준 Gemma 4 배포를 권장합니다. 파인튜닝을 통해 특정 작업에서 DiffusionGemma의 성능을 향상시킬 수 있습니다. 아래 예시에서 Unsloth는 DiffusionGemma를 파인튜닝하여 스도쿠를 풀도록 만들었습니다. 이는 각 토큰이 미래의 토큰에 의존하기 때문에 자기회귀 모델이 어려워하는 작업입니다. DiffusionGemma의 양방향 어텐션은 이를 훨씬 쉽게 만들어 줍니다.
텍스트에 디퓨전을 사용하는 이유는 무엇입니까? AI 연구 커뮤니티는 수년 동안 디퓨전 기반의 텍스트 생성을 탐구해 왔지만, 이를 대형 모델에 적용하는 것은 여전히 과제로 남아있었습니다. DiffusionGemma는 모델이 하드웨어를 사용하는 방식을 전환함으로써 이를 변화시킵니다.
기존 모델과의 트레이드오프 대부분의 언어 모델은 타자기처럼 왼쪽에서 오른쪽으로 한 번에 하나의 토큰을 생성합니다. 클라우드 환경에서는 서버가 수천 명의 사용자 요청을 일괄 처리하여 하드웨어 부하를 분산시킬 수 있으므로 이 방식이 효율적입니다. 하지만 단일 사용자를 위해 로컬에서 실행할 때, 이러한 단어별 처리 방식은 전용 GPU나 TPU를 충분히 활용하지 못하게 만듭니다. 즉, 대부분의 시간을 단순히 대기하는 데 소비하게 됩니다.
원문 보기 (영어)
DiffusionGemma: 4x faster text generation Jun 10, 2026 · Share x.com Facebook LinkedIn Mail Copy link Our newest open experimental model delivers up to 4x faster inference on dedicated GPUs and opens the door to exploring speed-critical, interactive local workflows. Brendan O'Donoghue Research Scientist Sebastian Flennerhag Research Scientist Share x.com Facebook LinkedIn Mail Copy link Your browser does not support the audio element. Listen to article This content is generated by Google AI. Generative AI is experimental [[duration]] minutes Voice Speed Voice Speed 0.75X 1X 1.5X 2X Today, we’re introducing DiffusionGemma, an experimental open model that explores text diffusion, an exceptionally fast approach to text generation. Released under an Apache 2.0 license, this 26B Mixture of Experts (MoE) model moves beyond the sequential token-by-token processing of typical autoregressive Large Language Models (LLMs). Instead, it generates entire blocks of text simultaneously, delivering up to 4x faster text generation on GPUs. Built upon the industry-leading intelligence-per-parameter of our Gemma 4 family and cutting-edge Gemini Diffusion research , DiffusionGemma integrates a novel diffusion head designed to maximize generation speed. While autoregressive Gemma 4 models remain the standard for high-quality production outputs, DiffusionGemma is designed for researchers and developers exploring speed-critical, interactive local workflows such as in-line editing, rapid iteration, and generating non-linear text structures. Unlocking new value for developers Developers building real-time interactive AI applications often struggle with the latency bottlenecks of local inference. DiffusionGemma addresses these challenges directly, with some key trade-offs: Blazing fast inference: By shifting the decode bottleneck from memory-bandwidth to compute, DiffusionGemma generates up to 4x faster token output on dedicated GPUs. (1000+ tokens per second on a single NVIDIA H100, 700+ tokens per second on NVIDIA GeForce RTX 5090). 1 Accessible hardware footprint: Operating as a 26B total Mixture of Experts (MoE) model that activates only 3.8B parameters during inference, DiffusionGemma fits comfortably within 18GB VRAM limits of high-end dedicated consumer GPUs when quantized. Bi-directional attention : Generating 256 tokens in parallel with each forward pass allows every token to attend to all others. This provides significant advantages for non-linear domains such as in-line editing, code infilling, amino acid sequences or mathematical graphs. Intelligent self-correction: The model iteratively refines its own output, allowing it to evaluate the entire text block at once to fix mistakes in real-time. Experimental status & production recommendations: Because it prioritizes speed and parallel layout generation, DiffusionGemma’s overall output quality is lower than standard Gemma 4. For applications that demand maximum quality, we recommend deploying standard Gemma 4. You can improve DiffusionGemma's performance on specific tasks through fine-tuning. In the example below, Unsloth fine-tuned DiffusionGemma to play Sudoku — a task autoregressive models struggle with because each token depends on future tokens. DiffusionGemma's bi-directional attention makes this much easier. Fine-tuned DiffusionGemma solving Sudoku. Why diffusion for text? While the AI research community has explored diffusion-based text generation for years, applying it to large models has remained a challenge. DiffusionGemma changes this by shifting how models use hardware. The trade-off with traditional models Most language models act like a typewriter, generating one token at a time from left to right. In the cloud, this is efficient because servers can batch thousands of user requests together to share the hardware load. But when run locally for a single user, this word-by-word process leaves your dedicated GPU or TPU underutilized — it spends most of its time simply waiting for the next "keystroke." DiffusionGemma reverses this inefficiency. Instead of predicting words sequentially, it drafts an entire 256-token paragraph simultaneously. By giving the computer's processor a larger chunk of work at once, DiffusionGemma utilizes your hardware to its full potential. It upgrades your model inference from a single, sequential typewriter to a massive printing press that stamps the entire block of text simultaneously. DiffusionGemma text-to-3D SVG demo by Hugging Face. Step-by-step generation. This means DiffusionGemma's speedup is designed for local and low-concurrency inference. In high-QPS cloud serving, autoregressive models can be deployed to saturate compute efficiently, so DiffusionGemma's parallel decoding offers diminishing returns and can result in higher serving costs. The throughput advantage is strongest at low-to-medium batch sizes on a single accelerator. How text diffusion works Similar to AI image generators that start with visual static and iteratively refine it into a clear picture, DiffusionGemma applies this to text: The canvas: The model starts with a canvas of random placeholder tokens. Iterative refinement: The model makes multiple passes, locking in correct tokens and using them as context clues to refine the rest. Final polish: The text converges into high-quality output. Because the model can process the whole paragraph while generating, it unlocks new patterns of model behavior, like perfectly closing complex markdown formatting or generating and rendering code in near real-time. Get started today Download the weights: Access the experimental model weights (released under a permissive Apache 2.0 license) right now on Hugging Face. Integrate & learn: Learn more in our DiffusionGemma developer guide . Or deep dive into A Visual Guide to DiffusionGemma to understand the mechanics under the hood. Use your favorite development tools: Serve the model efficiently using MLX , vLLM (with integration supported by Red Hat ), and Hugging Face Transformers . For rapid experimentation, we are releasing a fine-tuning tutorial using Hackable Diffusion , a modular JAX toolbox designed for composability. You can also explore fine-tuning with Unsloth and NVIDIA NeMo . Additionally, official support for llama.cpp is arriving soon. Experience optimized performance: We worked with NVIDIA to optimize across their hardware stack, ensuring compatibility with consumer setups (quantized for GeForce RTX 5090 and 4090 GPUs) alongside high performance on enterprise systems (Hopper and Blackwell using advanced NVFP4 kernels), including NVIDIA DGX Spark and DGX Station for local deskside deployment, and RTX PRO for AI professionals. Native support for NVFP4 (4-bit floating-point) accelerates compute throughput, allowing the model to run at faster speeds with near-lossless accuracy. Try your way: Run on your desktop dedicated GPU or in the cloud through Gemini Enterprise Agent Platform Model Garden or NVIDIA NIM . POSTED IN: