메뉴

#LLM 라우팅

MP
MarkTechPost • 23일 전
IMP 6

엔비디아, LLM 트래픽 라우팅 프록시 '스위치야드' 공개

엔비디아가 OpenAI와 Anthropic API 간 LLM 트래픽을 중계·변환하는 Rust 기반 오픈소스 프록시 '스위치야드(Switchyard)'를 아파치 2.0 라이선스로 공개했습니다. 요청을 제공사 중립적 타입으로 변환해 다양한 알고리즘으로 라우팅하므로, Claude Code나 Codex CLI를 vLLM·NIM·Ollama 같은 로컬 추론 엔진에 그대로 연결해 쓸 수 있습니다. 아직 프리 알파 단계로 프로덕션 사용은 권장되지 않습니다.

엔비디아 스위치야드 LLM 라우팅
MP
MarkTechPost • 138일 전
IMP 6

로컬 프롬프트 분류와 젬마이(Gemini)를 활용한 비용 최적화 LLM 라우팅

이 글은 사용자의 프롬프트를 단순함과 복잡함으로 나누어 가장 적합한 LLM으로 연결하는 지능형 라우팅 시스템인 'NadirClaw'의 구축 방법을 다룹니다. 실제 LLM API를 호출하기 전 로컬 분류기를 테스트하여 불필요한 비용을 줄이고, 필요에 따라 젬마이(Gemini) 모델을 전환(Switching)할 수 있는 실무적인 접근법을 제시합니다.

LLM 라우팅 비용 최적화 NadirClaw