서로 다른 세대(RDNA4, RDNA3)의 AMD 그래픽 카드 두 장을 결합해 총 48GB VRAM 환경을 구축한 사례입니다. 호환성 문제로 인해 로존(ROCm) 대신 벌칸(Vulkan) 백엔드를 사용하여 성공적으로 llama-cpp 서버를 실행했습니다. 이는 추가 그래픽 카드와 파워서플라이 정도의 적은 비용으로 대규모 로컬 AI 모델 구동을 위한 막대한 VRAM을 확보할 수 있음을 보여줍니다.
LLaMA.cpp 환경에서 Qwen 모델을 대상으로 다중 토큰 예측(MTP) 기술과 양자화 기법인 TurboQuant를 성공적으로 통합했습니다. 이를 통해 로컬 환경(MacBook Pro)에서 텍스트 생성 속도를 약 40% 향상시키고 높은 수용율(90%)을 달성하며 추론 성능을 크게 개선했습니다. 이 성과는 고성능 오픈소스 모델을 일반 로컬 하드웨어에서도 빠르고 효율적으로 구동할 수 있음을 입증합니다.
데스크톱과 모바일 환경을 모두 아우르는 범용 로컬 AI 애플리케이션 개발 키트인 'QVAC SDK'가 Apache 2.0 라이선스로 오픈소스 공개되었습니다. 이 SDK는 LLM, 비전, 음성 인식 등 다양한 모델을 지원하며, BitTorrent 방식의 P2P 모델 분배 기능을 제공하는 것이 특징입니다. 개발자가 복잡한 환경 설정 없이도 로컬 환경에서 강력한 AI 앱을 쉽게 구축할 수 있도록 돕는 것이 목표입니다.