#추론 엔진

LightSeek, 에이전트 워크로드 최적화 오픈소스 LLM 추론 엔진 공개

LightSeek 재단이 코딩 에이전트 등 복잡한 AI 작업을 효율적으로 처리하기 위한 오픈소스 LLM 추론 엔진인 'TokenSpeed'를 MIT 라이선스로 공개했습니다. 이 엔진은 단일 GPU 처리량(TPM)은 물론 개별 사용자 체감 속도(TPS)까지 동시에 극대화하도록 설계되어, 기존 챗봇과는 결이 다른 에이전트 환경의 병목 현상을 해결하는 데 초점을 맞췄습니다. 특히 C++ 기반의 제어 평면과 파이썬 기반의 실행 평면을 분리한 구조와 이기종 가속기를 지원하는 모듈형 커널 시스템을 통해 엔비디아 TensorRT-LLM 수준의 고성능을 추구합니다.