#추론 엔진

구형 제온 서버 174번 재부팅하며 찾아낸 최적 LLM 추론 옵션

10년 된 구형 CPU 환경에서 LLM(Gemma 4)을 빠르게 구동하기 위해 추론 엔진의 25개 명령어 플래그(flags)를 하나씩 제거하며 성능 변화를 측정한 실험 결과입니다. 플래그들은 하드웨어나 작업량에 따라 상호작용하므로 무작정 복사해서 붙여넣기보다 실제 환경에서 테스트해야 함을 보여줍니다. 하드웨어 제약 없이 오픈소스 모델을 최적화하려는 실무자들에게 매우 유용한 가이드입니다.

LightSeek, 에이전트 워크로드 최적화 오픈소스 LLM 추론 엔진 공개

LightSeek 재단이 코딩 에이전트 등 복잡한 AI 작업을 효율적으로 처리하기 위한 오픈소스 LLM 추론 엔진인 'TokenSpeed'를 MIT 라이선스로 공개했습니다. 이 엔진은 단일 GPU 처리량(TPM)은 물론 개별 사용자 체감 속도(TPS)까지 동시에 극대화하도록 설계되어, 기존 챗봇과는 결이 다른 에이전트 환경의 병목 현상을 해결하는 데 초점을 맞췄습니다. 특히 C++ 기반의 제어 평면과 파이썬 기반의 실행 평면을 분리한 구조와 이기종 가속기를 지원하는 모듈형 커널 시스템을 통해 엔비디아 TensorRT-LLM 수준의 고성능을 추구합니다.