BL
r/LocalLLaMA • 23일 전
인피니티 스톤을 모으다: 2.3TB RAM 초대형 AI 클러스터 구축기
IMP 8/10
핵심 요약
사용자가 2.3TB RAM과 400개 이상의 vCore를 결합하여 엔비디아 블랙웰(Blackwell) 기반의 이기종(Heterogeneous) 클러스터 구축을 시도했습니다. 블랙움을 활용해 프리필(prefill)을 처리하고 RDMA로 디코드(decode)를 수행하는 혁신적 아키텍처로, AI 엔지니어링 관점에서 매우 중요한 시도입니다. 현재 Tinygrad 드라이버 개발을 위한 협업자를 찾고 있으며, 완성이 임박한 상태입니다.
번역된 본문
여기에 2.3TB의 RAM과 400개 이상의 vCore를 장착했습니다. 이제 RDMA(Remote Direct Memory Access)를 구현할 드라이버를 통해 블랙웰(Blackwell)과 연결하기만 하면 됩니다. 블랙웰을 프리필(prefill)에 활용하고, RDMA를 통해 스튜디오 메시(studio mesh)로 디코드(decode)를 수행할 계획입니다. 이는 아마도 최초의 이기종 클러스터가 될 것입니다. 하지만 이 작업을 완수하기 위해 Tinygrad 드라이버에 대한 도움이 필요합니다. 이 분야에 지식이 있으신 분 중 협업을 원하시는 분이 있다면 개인 메시지로 연락 주시기 바랍니다. 우리는 목표에 매우 근접해 있습니다.
원문 보기 (영어)
2.3 TB of ram in here. 400+ vCores. All thats left is plugging it to the blackwell with the driver to do RDMA, and it’s over. Using Blackwells for prefill, RDMA to the studio mesh for decode. I think this would be the first heterogeneous cluster. I do, however, need help with the Tinygrad Driver to make this work. If anyone with any knowledge on these domains would like to collaborate, let me know via PM. We are very close here.