LL
r/LocalLLaMA • 8일 전
IMP 6
민감: 듀얼 GPU로 48GB VRAM 확보 성공!
서로 다른 세대(RDNA4, RDNA3)의 AMD 그래픽 카드 두 장을 결합해 총 48GB VRAM 환경을 구축한 사례입니다. 호환성 문제로 인해 로존(ROCm) 대신 벌칸(Vulkan) 백엔드를 사용하여 성공적으로 llama-cpp 서버를 실행했습니다. 이는 추가 그래픽 카드와 파워서플라이 정도의 적은 비용으로 대규모 로컬 AI 모델 구동을 위한 막대한 VRAM을 확보할 수 있음을 보여줍니다.
로컬-ai llama-cpp amd-radeon