#모델학습

사카나 AI, 잔차 네트워크를 독립 훈련 블록으로 변환하는 'DiffusionBlocks' 제안

사카나 AI는 기존의 잔차 네트워크(Residual Networks)를 개별적으로 학습 가능한 독립 모듈로 변환하는 새로운 블록 단위 학습 프레임워크인 DiffusionBlocks를 제안했습니다. 이 프레임워크는 네트워크 내 레이어 업데이트를 역방향 확산(Diffusion)의 노이즈 제거(Denoising) 단계로 해석하여 모델을 분할하는 혁신적인 방식을 제공합니다. 이를 통해 대규모 모델의 효율적인 분산 학습 및 최적화가 가능해져 AI 실무자들에게 획기적인 학습 효율 개선을 기대할 수 있습니다.

학습 데이터의 순서 의존성과 리 브래킷(Lie Bracket)

이 글은 신경망 학습 과정에서 학습 데이터(Training Example)를 벡터 장(Vector Field)으로 간주하고, 두 데이터의 학습 순서를 바꿨을 때 파라미터에 미치는 영향을 수학적으로 계산하는 방법을 설명합니다. 미분 기하학의 '리 브래킷(Lie Bracket)' 개념을 적용해 데이터의 순서 의존성을 정량화하며, 이를 실제 합성곱 신경망(ConvNet) 학습에 적용한 실험 결과를 보여줍니다.