BL
MarkTechPost • 23일 전
엔비디아, LLM 트래픽 라우팅 프록시 '스위치야드' 공개
IMP 6/10
핵심 요약
엔비디아가 OpenAI와 Anthropic API 간 LLM 트래픽을 중계·변환하는 Rust 기반 오픈소스 프록시 '스위치야드(Switchyard)'를 아파치 2.0 라이선스로 공개했습니다. 요청을 제공사 중립적 타입으로 변환해 다양한 알고리즘으로 라우팅하므로, Claude Code나 Codex CLI를 vLLM·NIM·Ollama 같은 로컬 추론 엔진에 그대로 연결해 쓸 수 있습니다. 아직 프리 알파 단계로 프로덕션 사용은 권장되지 않습니다.
번역된 본문
엔비디아가 LLM 트래픽을 위한 Rust 기반 프록시 겸 라이브러리 '스위치야드(Switchyard)'를 아파치 2.0 라이선스로 공개했다. 스위치야드는 요청을 제공사 중립적인(provider-neutral) 타입으로 디코딩한 뒤, 패스스루(passthrough), 랜덤(random), LLM 분류기(LLM-classifier), 스테이지 라우터(stage-router) 등의 알고리즘으로 라우팅하고, 응답을 다시 클라이언트 형식으로 변환해 돌려준다. 이를 통해 Claude Code나 Codex CLI 같은 도구를 vLLM, NIM, Ollama에서 코드 수정 없이 그대로 실행할 수 있다. 다만 이 프로젝트는 아직 프리 알파(pre-alpha) 단계로, 프로덕션 환경에서의 사용은 권장되지 않는다.
원문 보기 (영어)
NVIDIA has released Switchyard, an Apache-2.0 Rust proxy and library for LLM traffic. It decodes requests into provider-neutral types, routes them with passthrough, random, LLM-classifier, or stage-router algorithms, and translates responses back into the client's format, so Claude Code or Codex CLI can run against vLLM, NIM, or Ollama unchanged. The project is pre-alpha and not for production.
The post Meet Switchyard: A Rust Proxy and Library That Routes and Translates LLM Traffic Across OpenAI and Anthropic APIs appeared first on MarkTechPost.