BL
r/LocalLLaMA • 31일 전
"로컬 LLM, 대체 어디에 쓰나요?" 저: 정말 많이 씁니다
IMP 4/10
핵심 요약
한 개발자가 자체 호스팅하는 로컬 LLM 환경의 토큰 사용량을 모니터링하는 모습을 공유했습니다. LiteLLM, Prometheus, Grafana 등의 오픈소스 스택을 연동하여 Frigate GenAI 요약 기능의 API 사용량을 추적한 결과, 단 6시간 만에 토큰 사용량이 예상보다 훨씬 빠르게 누적되는 것을 확인했습니다. 이는 개인이 구축한 온프레미스 AI 환경에서도 체계적인 비용 및 리소스 모니터링이 필수적임을 보여줍니다.
번역된 본문
LiteLLM 내에서 각 서비스에 대해 별도의 프라이빗 API 키를 생성하고, Prometheus를 통해 사용량을 로깅하여 Grafana에서 시각화했습니다. Frigate GenAI 요약 기능에서 토큰이 얼마나 빠르게 누적되는지에 정말 놀랐네요!
이 화면은 불과 지난 6시간 동안의 데이터입니다.
원문 보기 (영어)
Created separate private API keys for each service within LiteLLM and started logging the usage via Prometheus to view in Grafana. Surprised the Frigate GenAI summaries tokens quickly add up!
This view is only the past 6 hours.