메뉴

#캐시-최적화

HN
Hacker News 5일 전
IMP 8

클로드 캐시 만료 방지 도구 'Claude-thermos'

클로드 코드(Claude Code)를 사용할 때 하위 에이전트 작업 등으로 5분 이상 대기하면 메인 에이전트의 프롬프트 캐시가 만료되어 막대한 재인코딩 비용이 발생합니다. Claude-thermos는 로컬 프록시를 통해 백그라운드에서 캐시를 주기적으로 따뜻하게 유지(warming)하여, 전체 요금의 약 22%에 달하는 불필요한 비용 지출을 방지해 줍니다. 개발자는 기존 CLI 명령어 대신 uvx claude-thermos를 실행하는 것만으로 쉽게 적용할 수 있습니다.

클로드-코드 캐시-최적화 오픈소스
HN
Hacker News 16일 전
IMP 8

클로드 코드의 과도한 토큰 소모, 오픈코드와 비교한 비용 분석

동일한 모델과 환경에서 테스트한 결과, 클로드 코드는 프롬프트를 읽기 전에도 약 33,000개의 토큰을 소모하여 오픈코드(약 7,000개)보다 훨씬 비효율적인 것으로 나타났습니다. 클로드 코드는 세션 중 캐시를 비효율적으로 재작성하여 비용이 크게 증가하며, 하위 에이전트를 사용할 때마다 부트스트랩 비용이 추가되어 전체 토큰 사용량이 급증합니다. 다만 다단계 작업에서는 요청을 일괄 처리하는 방식 덕분에 총 토큰 사용량이 더 낮을 수 있습니다.

토큰-비용 캐시-최적화 에이전트-성능