BL
MarkTechPost • 31일 전
메타, AI 규모 이더넷용 신규 RDMA 전송 기술 'MetaRoCE' 공개
IMP 7/10
핵심 요약
메타가 최신 AI 모델의 학습과 서빙을 위해 기존 설계에서 벗어나 처음부터 새로 설계한 RDMA 전송 계층인 MetaRoCE를 공개했습니다. 대규모 AI 학습에서 수천 개의 가속기 간 all-reduce, all-to-all 같은 집합 통신이 동기화되기 때문에 가장 느린 전송이 전체 작업의 속도를 결정하며, 작은 네트워크 병목도 상당한 컴퓨팅 자원 낭비로 이어집니다. MetaRoCE는 이러한 AI 규모의 이더넷 환경에 최적화된 해법으로 주목받습니다.
번역된 본문
최첨단 모델을 학습하고 서빙하는 일은 이제 컴퓨팅 문제만큼이나 네트워킹 문제가 되었습니다. 학습 중에는 all-reduce(전체 감소)나 all-to-all(전체 교환) 같은 집합 연산(collective operations)이 수천 개의 가속기를 동기화하며, 이때 가장 느린 전송이 전체 작업의 속도를 좌우합니다. 아주 적은 양의 네트워크 마찰(network friction)만 있어도 상당한 컴퓨팅 용량이 직접적으로 낭비됩니다. 이번 주 메타는 MetaRoCE를 공개했습니다. […]
'Meta AI Introduces MetaRoCE: A Clean-Sheet RDMA Transport Built for AI-Scale Ethernet' 포스트는 MarkTechPost에 처음 게시되었습니다.
원문 보기 (영어)
Training and serving frontier models is now a networking problem as much as a compute problem. Collective operations like all-reduce and all-to-all synchronize thousands of accelerators during training, and the slowest transfer sets the pace for the entire job. Even small amounts of network friction directly strand significant compute capacity. This week, Meta introduced MetaRoCE. […]
The post Meta AI Introduces MetaRoCE: A Clean-Sheet RDMA Transport Built for AI-Scale Ethernet appeared first on MarkTechPost.