LL
r/LocalLLaMA • 46일 전
IMP 6
DGX Spark 도착, vLLM 활용 온프레미스 구축 팁 문의
엔비디아의 'DGX Spark'를 활용해 vLLM, 파이토치(PyTorch), 허깅페이스(Hugging Face) 모델을 온프레미스 환경에서 구동하려는 사용자의 질문입니다. 교육 및 데이터 분석 목적의 애플리케이션을 위해 모든 데이터를 로컬에서 프라이빗하게 처리하고자 합니다. 기존 클라우드 환경과 달리 통합 메모리 시스템 기반의 로컬 하드웨어에서 효율적으로 구동할 모델 추천과 vLLM 튜닝 팁을 공유받고 있습니다.
온프레미스 vLLM DGX Spark