BL
r/LocalLLaMA • 8일 전
민감: 듀얼 GPU로 48GB VRAM 확보 성공!
IMP 6/10
핵심 요약
서로 다른 세대(RDNA4, RDNA3)의 AMD 그래픽 카드 두 장을 결합해 총 48GB VRAM 환경을 구축한 사례입니다. 호환성 문제로 인해 로존(ROCm) 대신 벌칸(Vulkan) 백엔드를 사용하여 성공적으로 llama-cpp 서버를 실행했습니다. 이는 추가 그래픽 카드와 파워서플라이 정도의 적은 비용으로 대규모 로컬 AI 모델 구동을 위한 막대한 VRAM을 확보할 수 있음을 보여줍니다.
번역된 본문
설정 환경: Kubuntu 24.04 - AMD 그래픽 카드 - R9700 AI PRO 및 7800XT (32GB + 16GB) - llama.cpp 서버 - Docker에 구축된 스택 - Vulkan 이미지
ROCm을 사용해 보려고 했지만 RDNA4와 RDNA3가 혼합된 환경에서는 제대로 작동하지 않았습니다.
대신 Vulkan을 사용하니 작동했습니다. 간단한 프롬프트를 테스트해 보았는데 안정적으로 작동하기를 바랍니다. 만약 그렇다면 이제 실험해 볼 수 있는 48GB의 VRAM을 갖게 된 것입니다. 새로운 파워서플라이를 구매해야 했지만, 300달러의 비용으로 기존에 쓰던 7800XT를 계속 활용할 수 있다면 충분히 그만한 가치가 있다고 생각합니다.
수정: 저는 숫자에 대한 난독증이 있습니다. 제목에 R7900이라고 적었는데 실제로는 R9700입니다.
원문 보기 (영어)
Setup: Kubuntu 24.04 - AMD cards - R9700 AI PRO and 7800xt (32gb + 16gb) - llama-cpp server - stack setup in docker - vulkan image
I tried with ROCM but it wouldn't play nice with RDNA4 + RDNA3 mix.
Vulkan seems to work. I tested a quick prompt, hopefully it's stable because if so, this gives me 48gb of VRAM to play with. Had to buy a new powersupply, but for $300 and to be able to leverage my older 7800xt - well worth it, I think.
**Edit**: I have dyslexia with numbers - the title reads R7900 it's an R9700.