LL
r/LocalLLaMA • 23일 전
IMP 8
인피니티 스톤을 모으다: 2.3TB RAM 초대형 AI 클러스터 구축기
사용자가 2.3TB RAM과 400개 이상의 vCore를 결합하여 엔비디아 블랙웰(Blackwell) 기반의 이기종(Heterogeneous) 클러스터 구축을 시도했습니다. 블랙움을 활용해 프리필(prefill)을 처리하고 RDMA로 디코드(decode)를 수행하는 혁신적 아키텍처로, AI 엔지니어링 관점에서 매우 중요한 시도입니다. 현재 Tinygrad 드라이버 개발을 위한 협업자를 찾고 있으며, 완성이 임박한 상태입니다.
블랙웰 클러스터 RDMA