MarkTechPost • 11일 전

사카나 AI, 역전파 없이 MNIST 96.7% 달성하는 새 AI 훈련법 공개

IMP

8/10

핵심 요약

사카나 AI(Sakana AI)는 인간의 뇌와 같이 생물학적으로 구현 불가능한 기존의 가중치 전달(역전파) 방식을 대체하는 '오차 확산(Error Diffusion)' 기술을 제안했습니다. 이 접근법은 데이브의 원칙(Dale's principle)을 준수하는 이중 스트림 네트워크를 훈련시켜, 역전파 없이도 MNIST에서 96.7%, CIFAR-10에서 61.7%의 높은 정확도를 달성했습니다. 이는 생물학적 신경망의 원리에 가까운 차세대 효율적 AI 아키텍처 및 강화학습 연구에 중요한 전환점을 제시합니다.

번역된 본문

기존 역전파(Backpropagation) 알고리즘은 가중치 전달(Weight transport) 방식에 의존하는데, 이는 실제 생물학적 신경 회로에서는 구현이 불가능할 가능성이 높은 메커니즘입니다. 사카나 AI(Sakana AI)가 제안한 '오차 확산(Error Diffusion)' 기법은 이러한 한계를 우회하여, 신경과학의 '데이브의 원칙(Dale's principle)'을 준수하는 이중 스트림(dual-stream) 흥분성/억제성 네트워크를 훈련시킬 수 있게 해줍니다. 이 글에서는 모듈로 오차 라우팅(modulo error routing) 기법이 MNIST부터 CIFAR-10, 그리고 강화학습에 이르기까지 어떻게 확장 적용되는지와, 작업 의존적 절제 실험(task-dependent ablations)을 통해 밝혀진 핵심 결과들을 상세히 분석합니다.

사카나 AI의 '오차 확산'이 역전파 없이 데이브의 원칙을 준수하는 이중 스트림 네트워크를 훈련시켜 MNIST 96.7% 및 CIFAR-10 61.7%의 정확도에 도달한 기사는 MarkTechPost를 통해 처음 게재되었습니다.

원문 보기

원문 보기 (영어)

Backpropagation relies on weight transport, which biological circuits likely cannot implement. Sakana AI's Error Diffusion sidesteps that constraint, training dual-stream excitatory/inhibitory networks that obey Dale's principle. This piece breaks down how modulo error routing scales the rule from MNIST to CIFAR-10 and reinforcement learning, and what its task-dependent ablations reveal. The post Sakana AI’s Error Diffusion Trains Dale-Compliant Dual-Stream Networks, Reaching 96.7% MNIST and 61.7% CIFAR-10 Without Backpropagation appeared first on MarkTechPost.

역전파 대체 사카나 AI 생물학적 신경망 인공지능 연구 오차 확산