메뉴

#RDMA

MP
MarkTechPost • 31일 전
IMP 7

메타, AI 규모 이더넷용 신규 RDMA 전송 기술 'MetaRoCE' 공개

메타가 최신 AI 모델의 학습과 서빙을 위해 기존 설계에서 벗어나 처음부터 새로 설계한 RDMA 전송 계층인 MetaRoCE를 공개했습니다. 대규모 AI 학습에서 수천 개의 가속기 간 all-reduce, all-to-all 같은 집합 통신이 동기화되기 때문에 가장 느린 전송이 전체 작업의 속도를 결정하며, 작은 네트워크 병목도 상당한 컴퓨팅 자원 낭비로 이어집니다. MetaRoCE는 이러한 AI 규모의 이더넷 환경에 최적화된 해법으로 주목받습니다.

메타 RDMA 네트워킹
LL
r/LocalLLaMA • 141일 전
IMP 8

인피니티 스톤을 모으다: 2.3TB RAM 초대형 AI 클러스터 구축기

사용자가 2.3TB RAM과 400개 이상의 vCore를 결합하여 엔비디아 블랙웰(Blackwell) 기반의 이기종(Heterogeneous) 클러스터 구축을 시도했습니다. 블랙움을 활용해 프리필(prefill)을 처리하고 RDMA로 디코드(decode)를 수행하는 혁신적 아키텍처로, AI 엔지니어링 관점에서 매우 중요한 시도입니다. 현재 Tinygrad 드라이버 개발을 위한 협업자를 찾고 있으며, 완성이 임박한 상태입니다.

블랙웰 클러스터 RDMA