#자기회귀

연속 확산 언어 모델(CDLM)의 부활

몇 년간 정체됐던 연속(continuous) 확산 언어 모델 연구가 최근 다시 활발해지고 있습니다. 이 글은 자기회귀(autoregressive) 방식이 지배하는 언어 모델 패러다임에 대한 대안으로서, 2021년 이산(discrete) 확산 모델과 2022년 Diffusion-LM 등 연속 확산 접근법의 역사와 기술적 배경을 정리합니다. 텍스트 생성의 병렬화·제어 가능성 측면에서 중요한 연구 흐름입니다.

엔비디아, 확산 기반 언어모델 '네모트론 투타워' 공개

엔비디아가 기존 자기회귀(AR) 모델의 텍스트 생성 속도 한계를 극복하기 위해 오픈 웨이트 기반의 확산 언어 모델(Diffusion Language Model) '네모트론 투타워(Nemotron-Labs-TwoTower)'를 공개했습니다. 이 모델은 사전 학습된 자기회귀 백본을 기반으로 하여 텍스트 생성 시 발생하는 처리량(Throughput) 병목 문제를 해결하는 것을 목표로 하며, NVIDIA Nemotron Open Model License를 따릅니다. AI 실무자들에게 텍스트 생성 효율을 획기적으로 높일 수 있는 중요한 대안을 제시한다는 점에서 의미가 있습니다.