Ollama, LM Studio, llama.cpp와 호환되는 오픈소스 에이전트 하니스(agent harness) 11종을 라이선스와 설정 방법까지 검증하여 소개하는 글입니다. 로컬 LLM으로 자율 에이전트를 구축하려는 개발자에게 실무적 선택 가이드로 유용합니다.
ChatGPT 등을 구동하는 대규모 언어 모델(LLM)은 클라우드 없이 자신의 컴퓨터에서 직접 실행할 수 있다. 오프라인 사용과 높은 프라이버시, 구독료 없는 무료 활용이 장점이다. LM Studio, Ollama 등의 무료 도구와 Hugging Face의 모델을 활용하면 누구나 쉽게 로컬 AI 환경을 구축할 수 있다.
Vomit은 Claude Code가 출력하는 장황한 '토큰 토사물'을 로컬 LLM을 거쳐 자연스러운 영어로 변환해주는 오픈소스 도구입니다. 완전 로컬에서 동작해 외부 의존성이나 텔레메트리가 없으며, Claude의 출력을 후킹(hook)으로 교체하거나 비침투 모드로 사이드에서 감시할 수 있습니다.
샤오미 12 Pro 스마트폰을 안드로이드 UI를 제거한 헤드리스Headless 환경으로 세팅하여 24시간 구동되는 로컬 AI 서버로 개조한 사례입니다. 배터리 보호 및 발열 제어 자동화를 거친 후, Ollama를 통해 Gemma4 모델을 LAN 내에서 API 형태로 서빙하는 방식입니다. 이는 고성능 모바일 기기를 활용해 별도의 서버 장비 없이도 저전력 로컬 LLM 환경을 구축할 수 있다는 것을 보여줍니다.