#블랙웰

인피니티 스톤을 모으다: 2.3TB RAM 초대형 AI 클러스터 구축기

사용자가 2.3TB RAM과 400개 이상의 vCore를 결합하여 엔비디아 블랙웰(Blackwell) 기반의 이기종(Heterogeneous) 클러스터 구축을 시도했습니다. 블랙움을 활용해 프리필(prefill)을 처리하고 RDMA로 디코드(decode)를 수행하는 혁신적 아키텍처로, AI 엔지니어링 관점에서 매우 중요한 시도입니다. 현재 Tinygrad 드라이버 개발을 위한 협업자를 찾고 있으며, 완성이 임박한 상태입니다.

AI 희소성 시대의 도래

엔비디아의 최신 GPU 블랙웰(Blackwell) 대여 가격이 두 달 만에 48% 급등하는 등 AI 인프라 공급 부족 현상이 심화하고 있습니다. 오픈AI와 앤스로픽 같은 빅테크 기업들조차 컴퓨팅 자원 부족으로 어려움을 겪으며, 최첨단 AI 모델에 대한 접근성은 자본력을 갖춘 소수에게만 허용되는 '희소성' 국면으로 접어들었습니다. 향후 수년간 에너지 및 데이터센터 인프라가 확충될 때까지 고가의 비용과 강제적인 기술 다변화는 AI 실무자들에게 피할 수 없는 과제가 될 것입니다.