Ollama, LM Studio, llama.cpp와 호환되는 오픈소스 에이전트 하니스(agent harness) 11종을 라이선스와 설정 방법까지 검증하여 소개하는 글입니다. 로컬 LLM으로 자율 에이전트를 구축하려는 개발자에게 실무적 선택 가이드로 유용합니다.
ChatGPT 등을 구동하는 대규모 언어 모델(LLM)은 클라우드 없이 자신의 컴퓨터에서 직접 실행할 수 있다. 오프라인 사용과 높은 프라이버시, 구독료 없는 무료 활용이 장점이다. LM Studio, Ollama 등의 무료 도구와 Hugging Face의 모델을 활용하면 누구나 쉽게 로컬 AI 환경을 구축할 수 있다.
최근 공개된 오픈소스 AI 모델들을 개인 PC에서 직접 구동하는 환경이 비약적으로 발전하여, 코딩 등의 실무 작업에서 유의미한 결과를 내고 있습니다. 저자는 최신 Gemma 4 모델을 활용해 클라우드 API 모델의 75% 수준의 성능과 속도를 보여주는 에이전틱 코딩(agentic coding)을 로컬로 성공적으로 수행하고 있다고 강조합니다. 이는 고성능 AI를 로컬 환경에서 자율적으로 활용할 수 있는 새로운 이정표를 제시한다는 점에서 매우 중요합니다.