#확산모델

사카나 AI, 잔차 네트워크를 독립 훈련 블록으로 변환하는 'DiffusionBlocks' 제안

사카나 AI는 기존의 잔차 네트워크(Residual Networks)를 개별적으로 학습 가능한 독립 모듈로 변환하는 새로운 블록 단위 학습 프레임워크인 DiffusionBlocks를 제안했습니다. 이 프레임워크는 네트워크 내 레이어 업데이트를 역방향 확산(Diffusion)의 노이즈 제거(Denoising) 단계로 해석하여 모델을 분할하는 혁신적인 방식을 제공합니다. 이를 통해 대규모 모델의 효율적인 분산 학습 및 최적화가 가능해져 AI 실무자들에게 획기적인 학습 효율 개선을 기대할 수 있습니다.