BL
r/LocalLLaMA • 19일 전
DGX 수랭식 냉각 성공 사례 공유
IMP 5/10
핵심 요약
엔비디아 고성능 서버인 DGX를 가동할 때 수도물을 이용한 수랭식 냉각 방식으로 고부하 상태의 발열 문제를 성공적으로 제어한 사례입니다. 대규모 언어 모델 구동 중 95%의 높은 GPU 사용률에도 온도를 68도 이하로 안정적으로 유지했습니다. 고성능 AI 하드웨어의 발열 관리에 직면한 실무자들에게 매우 유용하고 직관적인 해결책을 제공합니다.
번역된 본문
Qwen3.5-122b-a10B Q6_K 정밀도를 구동하고 GPU 활용도를 95%로 유지하는 상황에서, 수도물을 사용해 온도를 68도 섭씨 이하로 유지했습니다. 110GB의 메모리를 사용하고 80k 컨텍스트 윈도우 환경에서 연속적인 비전 분석 작업을 18.77 토큰/초 속도로 처리하고 있습니다. 얼마나 자주 물을 교체해야 할지는 아직 확실하지 않지만, 적어도 지금까지는 아주 잘 작동하고 있습니다.
원문 보기 (영어)
Tap water keeps the temperature below 68 degree Celsius at 95% GPU utilization running Qwen3.5-122b-a10B Q6\_K precision. 110 GB Memory usage, 80k context window, 18.77 tokens/second for continuous vision analyses. Not sure how often do I have to change the water but so far so good.