오픈소스 모델 직접 구동, 생각보다 훨씬 자유롭다
Modal 소속 개발자가 자사의 관리형 엔드포인트에서 Kimi K3 모델을 구동하고 opencode를 연결해 본 후, 그 놀라운 자유로움에 대해 공유했습니다. 데이터 처리 과정을 온전히 통제할 수 있는 자체 호스팅 환경은 기존 폐쇄형 AI 서비스에 대한 의존도를 낮춰줍니다. 이는 개발자가 오픈소스 AI와 자체 인프라를 결합할 때 얻을 수 있는 강렬한 주도권과 해방감을 보여주는 사례입니다.
오픈 모델 사용법은 생각보다 훨씬 만족스럽습니다.
2026년 7월 27일
나는 다른 사람들과 마찬가지로 지난 2년 동안 Claude나 ChatGPT를 사용해 왔습니다. 나는 결코 소위 말하는 '오픈소스 소프트웨어' 광신도나 그런 부류의 사람이 아니었습니다. 하지만 방금 내 자신의 추론 엔드포인트(inference endpoint)에서 opencode를 작동시켜 보았는데... 놀랍도록 기분이 좋았습니다. 왠지... 해방감이 들었습니다. 엔드포인트는 내 것이고, 내 데이터는 그저 내 노트북에서 그곳으로 갔다가 다시 돌아올 뿐입니다. 마치 내 것을 온전히 소유하고 있다는 느낌이 듭니다. 정말 좋네요.
이렇게 해 본 동기는 단순했습니다. 집에 도착해서 나만의 작은 사이드 프로젝트를 시작하고 싶었는데, 제 개인 계정에는 Claude나 ChatGPT의 가장 비싼 요금제가 없었기 때문입니다. 나는 Modal에서 일하고 있는데, 마침 오늘 관리형 엔드포인트에서 Kimi K3를 출시했습니다. 그리고 Kimi K3가 꽤 쓸만하다는 것을 알고 있었기에, Claude 요금제를 업그레이드하는 대신 한번 사용해 보기로 했습니다. (제가 이 기능 개발에 직접 참여하지는 않았기 때문에 아직 제대로 만져보지는 못했습니다.)
단 5분 만에, 나는 나만의 Modal 엔드포인트를 향하도록 opencode를 설정하고 실행할 수 있었습니다. opencode를 실행시키는 순간, 나는 기분 좋고 텅 빈 백지상태를 느꼈습니다. 이 느낌을 표현할 수 있는 가장 좋은 비유는 복잡하고 화려한 에디터에서 한참을 헤맨 뒤에 vim을 켰을 때의 그 느낌입니다. 혹은 나를 다른 서비스 제공업체들에 얽매이게 하던 촉수들이 잘려나가고, 비로소 자유롭게 숨을 쉴 수 있게 된 것 같기도 합니다. 좀 과장되게 표현하는 것 같긴 하지만, 그렇다고 많이 거짓말을 하는 것도 아닙니다. 좀 이상하네요, ㅋㅋ. 그리고 내게도 꽤 뜻밖의 감정이라서 이렇게 글을 적어보고 싶었습니다.