#클러스터

인피니티 스톤을 모으다: 2.3TB RAM 초대형 AI 클러스터 구축기

사용자가 2.3TB RAM과 400개 이상의 vCore를 결합하여 엔비디아 블랙웰(Blackwell) 기반의 이기종(Heterogeneous) 클러스터 구축을 시도했습니다. 블랙움을 활용해 프리필(prefill)을 처리하고 RDMA로 디코드(decode)를 수행하는 혁신적 아키텍처로, AI 엔지니어링 관점에서 매우 중요한 시도입니다. 현재 Tinygrad 드라이버 개발을 위한 협업자를 찾고 있으며, 완성이 임박한 상태입니다.

홈랩 16x DGX Spark 클러스터 구축, 뭘 돌려야 할까?

한국 독자를 위해 요약하면, 이 글은 16대의 NVIDIA DGX Spark를 활용해 역대급 규모의 홈랩 AI 클러스터를 구축하는 과정을 담고 있습니다. 통합 2TB 메모리와 200Gbps 고속 스위치로 구성되어 대규모 AI 모델의 분산 학습이나 추론에 활용할 수 있는 중요한 인프라입니다. 내일 오후면 세팅이 완료될 예정으로, 어떤 워크로드를 실행할지 논의를 위해 공유되었습니다.