BL
r/LocalLLaMA • 3일 전
역대급 근성으로 조립한 로컬 AI 서버
IMP 5/10
핵심 요약
여러 개의 중고 서버 부품과 엔비디아 테슬라 V100 GPU 3장을 조합해 총 96GB의 VRAM을 갖춘 로컬 AI 서버 구축기입니다. 노트북용 램 어댑터 사용, 벽면 직결 팬 등 파격적인 수동 조립(일명 짬처리) 과정을 거쳤습니다. 대용량 로컬 AI 추론 환경을 최소 비용으로 구축하려는 실무자 및 하드웨어 마니아들에게 흥미로운 사례입니다.
번역된 본문
일명: '삐걱거리는 쓰레기의 화신'
수개월간의 고통 끝에, 마침내 작동하는 세팅을 완성했습니다.
멀티 테슬라(Tesla) 환경을 구축하는 데에는 알아야 할 특이한 점들이 한가득 있습니다. 시스템이 돌아가기 시작하면 제 경험에 대해 글을 좀 써볼 계획입니다.
현재 팬들은 벽 콘센트에 직접 꽂아놨고, 속도는 노브(다이얼)로 수동 제어하고 있습니다. 나중에 팬들을 위해 PWM 컨트롤러를 연결해 줘야겠네요.
수정: 사양:
- 인텔 제온(Intel Xeon) CPU E5-2680 v4 @ 2.40GHz
- Asrock x99 Extreme 마더보드
- 저주받은(?) 랩탑 SODIMM 16GB DDR4를 어댑터에 끼워서 사용 중
- 3x 엔비디아 테슬라 V100 32GB - 총 96GB의 VRAM
원문 보기 (영어)
AKA: Jank Incarnate
After months of pain, I finally got a working setup.
There's a bunch of quirks about running a multi-Tesla setup. I was planning to write something about my experience after I get it running.
Currently, the fans are plugged into the wall, speed is controlled with a knob. I still gotta wire up a PWM controller for them.
EDIT: Specs:
* Intel Xeon CPU E5-2680 v4 @ 2.40GHz
* Asrocka x99 Extreme motherboard
* Cursed 16GB DDR4 of some laptop SODIMM in an adapter
* 3x Nvidia Tesla V100, 32GB - total 96GB of VRAM