The Decoder • 32일 전

바이두(인민대·바이트댄스)의 디퓨전 언어모델 iLLaDA, 큐웬2.5에 맞먹는 성능 입증

IMP

8/10

핵심 요약

중국 인민대와 바이트댄스가 기존 트랜스포머 방식과 작동 원리가 전혀 다른 디퓨전 기반 언어모델 'iLLaDA(8B)'를 공개했습니다. 이 모델은 기본(Base) 성능에서 자귀접속(autoregressive) 방식의 강자인 큐웬2.5(Qwen2.5) 7B와 동등한 수준을 기록하며 새로운 가능성을 보여줬습니다. 다만 구글의 DiffusionGemma가 속도에 집중한 것과 달리 iLLaDA는 품질에 집중했으며, 추가 미세조정(파인튜닝) 및 강화학습 정렬이 부족해 인스트럭트(Instruct) 모델 성능에는 아직 격차가 있습니다.

번역된 본문

[구독자 전용] 바이트댄스의 "iLLaDA"는 큐웬2.5(Qwen2.5)에 맞먹는 디퓨전 언어 모델입니다. 막시밀리안 슈라이너(Maximilian Schreiner) - 2026년 6월 27일

중국 인민대학교와 바이트댄스 연구진은 ChatGPT와 작동 방식이 다른 80억 매개변수(8B) 크기의 언어 모델, iLLaDA를 공개했습니다. 이 모델은 기본(Base) 수준에서는 큐웬2.5(Qwen2.5)와 맞먹는 성능을 보여주지만, 미세조정(파인튜닝) 이후에는 성능이 뒤처집니다.

GPT, 클로드(Claude), 큐웰(Qwen) 등 우리가 아는 거의 모든 유명 AI 언어 모델은 자귀접속(autoregressive) 방식으로 텍스트를 생성합니다. 즉, 왼쪽에서 오른쪽으로 단어를 하나씩 생성하며, 새로운 토큰은 이전 토큰들에만 의존합니다. 반면 디퓨전 언어 모델은 다른 접근 방식을 취합니다. 이 모델은 마스크 토큰(masked tokens)이라는 자리 표시자 시퀀스로 시작해, 여러 과정을 거치며 이를 병렬로 다듬습니다. 이는 이미지 모델이 노이즈로부터 그림을 만들어내는 방식과 유사합니다. 이 과정에서 모든 위치는 동시에 다른 모든 위치를 참조할 수 있으므로, 처리 과정이 양방향(bidirectional)으로 이루어집니다.

iLLaDA는 구글이 포함된 더 넓은 기술 흐름의 일부입니다. 2026년 6월, 구글 딥마인드는 DiffusionGemma를 발표했습니다. 이 모델은 디퓨전 방식을 통해 텍스트 생성 속도를 약 4배 높였지만, MMLU 및 코드 작성 등 벤치마크에서는 비슷한 크기의 자귀접속(autoregressive) 방식 모델인 젬마 4(Gemma 4)보다 낮은 점수를 기록했습니다. 구글은 이를 품질이 최우선인 실무 환경이 아닌, 저지연(low-latency) 사용 사례에 추천했습니다.

DiffusionGemma는 250억 매개변수를 가진 전문가 혼합(Mixture-of-Experts, MoE) 모델인 젬마 4(Gemma 4) 백본을 기반으로 하며, 속도를 우선하기 위해 생성 방식만 교체한 모델입니다. 반면 'improved LLaDA'의 약자인 iLLaDA는 정반대의 길을 걸었습니다. 처음부터 새롭게 학습된 밀집(dense) 8B 모델로, 품질에 초점을 맞췄습니다.

이 모든 연구의 핵심 질문은 '밑바닥부터 구축된 디퓨전 모델이 과연 자귀접속 모델을 따라잡을 수 있는가'입니다. 하지만 두 모델 간의 직접적인 수치 비교는 까다롭습니다. 구글은 부분적으로 다르고 더 어려운 벤치마크 변형을 사용하며, DiffusionGemma는 다른 매개변수 체급에 속하기 때문입니다.

iLLaDA의 성능 연구진은 전 모델인 LLaDA의 2.3조 개 토큰 학습에서 크게 늘려, 12조 개의 토큰으로 iLLaDA를 사전 학습(Pre-train)하고 12번의 에포크(epoch) 동안 미세조정했습니다. 논문에 따르면, iLLaDA-Base는 LLaDA보다 크게 향상되어 추론 테스트인 BBH에서 21.6점이나 점프했습니다. 평균 63.9점을 기록하며 자귀접속 방식인 큐웬2.5 7B(63.3점)를 근소하게 앞섰습니다.

[표 요약: iLLaDA 8B 대 Dream 7B 대 Qwen2.5 7B 비교] iLLaDA는 평균 63.9점, Dream 7B는 61.4점, Qwen2.5 7B는 63.3점을 기록했습니다. 경쟁하는 디퓨전 모델인 Dream 7B와의 비교에서도 우위를 보입니다. Dream 7B는 처음부터 학습된 것이 아니라 기존 큐웬2.5 체크포인트에서 미세조정된 모델입니다. iLLaDA는 강력한 자귀접속 기반 모델의 이점 없이도 평균 점수(63.9 대 61.4)에서 Dream을 앞서며, 코딩 벤치마크에서만 Dream이 근소한 우위를 보입니다.

하지만 파인튜닝된 지시어 수준(Instruct level)에서는 여전히 격차가 존재합니다. iLLaDA-Instruct는 67.1점을 받은 반면, 큐웬2.5 7B Instruct는 77.1점을 받았으며 주로 수학과 코딩 부문에서 점수 차이가 발생했습니다. 저자들은 이러한 차이를 iLLaDA에 없는 큐웬2.5의 추가적인 강화학습 정렬(reinforcement learning alignment) 탓으로 돌렸습니다. 논문의 부록에서는 또한 이 모델이 어려운 작업에서 추론 루프에 갇힐 수 있다고 지적했습니다.

[이하 광고 및 구독 권유 내용: THE DECODER 뉴스레터 및 구독 혜택 안내]

원문 보기

원문 보기 (영어)

Exclusive for subscribers ByteDance's "iLLaDA" is a diffusion language model that keeps up with Qwen2.5 Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jun 27, 2026 Nano Banana Pro prompted by THE DECODER Researchers from Renmin University and Bytedance have released iLLaDA, an 8B language model that works differently from ChatGPT. It matches Qwen2.5 at the base level but falls behind after fine-tuning. Nearly all well-known AI language models like GPT, Claude, or Qwen generate text autoregressively: word by word, left to right, with each new token depending only on the ones before it. Diffusion language models take a different approach. They start with a sequence of placeholders, called masked tokens, and refine them across multiple passes in parallel. It's similar to how image models shape a picture from noise. Every position can attend to every other position at the same time, making the process bidirectional. iLLaDA is part of a broader movement that includes Google. In June 2026, Google DeepMind released DiffusionGemma . That model generates text about four times faster via diffusion but scores worse on benchmarks like MMLU and code than the similarly sized autoregressive Gemma 4 . Google recommends it for low-latency use cases, not quality-critical production. DiffusionGemma takes a different approach. It's built on the Gemma 4 backbone, a 25-billion-parameter mixture-of-experts model that swaps only the generation method to prioritize speed. iLLaDA, short for "improved LLaDA," goes the other way. It's a dense 8B model trained from scratch, focused on quality. The question behind all of this is whether a diffusion model built from the ground up can actually keep up with autoregressive models. A direct numerical comparison between the two is tough, though. Google uses partly different and harder benchmark variants, and DiffusionGemma plays in a different weight class. What iLLaDA can do The team pretrained iLLaDA on 12 trillion tokens, up from 2.3 trillion for its predecessor LLaDA, and fine-tuned it for twelve epochs. According to the paper, iLLaDA-Base improves sharply over LLaDA, jumping 21.6 points on the reasoning test BBH, for example. On average it hits 63.9 points, edging just past the autoregressive Qwen2.5 7B at 63.3. iLLaDA 8B LLaDA 8B Dream 7B Qwen2.5 7B Model Diffusion Diffusion Diffusion AR Training tokens 12T 2.3T 18T + 0.6T 18T General Tasks MMLU 74.8 65.9 69.5 71.9 BBH 71.3 49.7 57.9 63.9 ARC-C 60.8 45.9 59.8 51.5 Hellaswag 76.6 70.5 73.3 79.0 Mathematics & Science GSM8K 81.9 70.3 77.2 78.9 Math 38.4 31.4 39.6 41.1 Code HumanEval 50.0 35.4 57.9 56.7 MBPP 57.8 40.0 56.2 63.6 Average 63.9 51.1 61.4 63.3 The comparison with the competing diffusion model Dream 7B also favors iLLaDA. Dream wasn't trained from scratch but fine-tuned from an existing Qwen2.5 checkpoint. iLLaDA still beats Dream on average, 63.9 vs. 61.4, even without the head start of a strong autoregressive base. Dream only holds a slight edge on coding benchmarks. A gap remains at the instruct level. iLLaDA-Instruct scores 67.1 points while Qwen2.5 7B Instruct hits 77.1, with math and code driving most of the difference. The authors blame this on the extra reinforcement learning alignment in Qwen2.5, which iLLaDA lacks. In the paper's appendix, they also note that the model can get stuck in reasoning loops on harder tasks. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->

디퓨전 언어 모델 바이트댄스 iLLaDA 오픈소스 인공지능 모델