#LiteLLM

리텔름(litelm): LiteLLM에서 꼭 필요한 기능만 남긴 초경량 라이브러리

litelm은 LLM 호출 라우팅과 메시지 형식 변환 기능만을 약 2,900줄의 코드와 2개의 의존성(openai, httpx)으로 제공하는 초경량 오픈소스 라이브러리입니다. 기존 LiteLLM이 10만 줄 이상의 프록시 서버, 캐싱, 비용 추적 등 무거운 기능을 포함하는 것과 달리, 핵심 호출 경로(모델 라우팅, 메시지 변환, 스트리밍, 툴 호출, 임베딩)만 남겼습니다. API가 LiteLLM과 동일해 import만 바꾸면 바로 마이그레이션할 수 있다는 점이 실무자에게 큰 장점입니다.

공급망 해킹으로 수 테라바이트 자격 증명 대량 유출

오픈소스 AI 개발 도구인 LiteLLM의 공급망 공격으로 인해 마이크로소프트, 아마존, 삼성전자 등 글로벌 기업들의 수 테라바이트(TB) 자격 증명이 대거 유출되었습니다. 악성코드에 감염된 버전을 다운로드한 43만 개 이상의 소프트웨어 파이프라인(CI/CD)이 40분 동안 탈취당한 것으로 확인되었으며, 이는 AI 도입을 서두르는 과정에서 보안이 소홀해진 대표적인 사례로 평가됩니다.

AI 채용 스타트업 머코어, 오픈소스 LiteLLM 해킹으로 공격 받아

AI 채용 스타트업 머코어(MoKore)가 오픈소스 라이브러리인 LiteLLM의 취약점을 이용한 해킹으로 인해 사이버 공격을 받았습니다. 데이터 탈취를 자행한 해커 그룹이 범행을 인정함에 따라, 해당 기업은 시스템 내 데이터 유출이 발생했음을 확인하고 보안 사고로 공식 인정했습니다.