#확산모델

엔비디아, 확산 기반 언어모델 '네모트론 투타워' 공개

엔비디아가 기존 자기회귀(AR) 모델의 텍스트 생성 속도 한계를 극복하기 위해 오픈 웨이트 기반의 확산 언어 모델(Diffusion Language Model) '네모트론 투타워(Nemotron-Labs-TwoTower)'를 공개했습니다. 이 모델은 사전 학습된 자기회귀 백본을 기반으로 하여 텍스트 생성 시 발생하는 처리량(Throughput) 병목 문제를 해결하는 것을 목표로 하며, NVIDIA Nemotron Open Model License를 따릅니다. AI 실무자들에게 텍스트 생성 효율을 획기적으로 높일 수 있는 중요한 대안을 제시한다는 점에서 의미가 있습니다.

사카나 AI, 잔차 네트워크를 독립 훈련 블록으로 변환하는 'DiffusionBlocks' 제안

사카나 AI는 기존의 잔차 네트워크(Residual Networks)를 개별적으로 학습 가능한 독립 모듈로 변환하는 새로운 블록 단위 학습 프레임워크인 DiffusionBlocks를 제안했습니다. 이 프레임워크는 네트워크 내 레이어 업데이트를 역방향 확산(Diffusion)의 노이즈 제거(Denoising) 단계로 해석하여 모델을 분할하는 혁신적인 방식을 제공합니다. 이를 통해 대규모 모델의 효율적인 분산 학습 및 최적화가 가능해져 AI 실무자들에게 획기적인 학습 효율 개선을 기대할 수 있습니다.