HN
Hacker News • 34일 전
IMP 6
로컬 LLM이 실제보다 멍청해 보이는 이유
로컬에서 실행하는 LLM이 원래 성능보다 떨어져 보이는 이유는 하드웨어·소프트웨어 구현 차이가 토큰 확률 분포를 왜곡하기 때문이라는 기술 분석 글입니다. 저자는 동일한 가중치라도 GPU 세대별 명령어 집합과 양자화, 샘플러 설정이 출력 품질에 큰 영향을 준다고 설명하며, KLD(KL Divergence)로 이 편차를 측정하는 방법을 소개합니다. 로컬 LLM 운영자에게 벤치마크와 샘플러 설정의 중요성을 일깨워주는 실용적인 글입니다.
로컬 LLM 추론 최적화 양자화