오픈소스 AI 모델로 전환할 때의 단점은 거의 없다
과거 리눅스가 그랬듯, 현재 폐쇄적인 AI 모델(Claude, GPT 등)이 성능과 편의성 면에서 우위를 점하고 있으나 최근 신원 확인 등 강화된 규제로 인해 실무자들의 불편이 가중되고 있습니다. 반면 오픈소스 LLM의 성능은 빠르게 폐쇄형 모델을 추격하고 있어, 개인정보 보호와 자율성을 확보하기 위해 오픈 모델로 전환할 때의 단점이나 생산성 저하는 이제 감당할 만한 수준에 도달했습니다.
오픈 모델로 전환하는 것의 단점은 거의 없다 Andrew Marble (marble.onl / andrew@willows.ai) 2026년 6월 21일
얼마 전까지만 해도 리눅스(Linux)를 사용하는 것은 직장에서 어느 정도의 위험을 감수해야 하는 일이었다1. 첫 번째는 호환성 문제였다. Word 문서나 PowerPoint를 제대로 렌더링하지 못할 수 있었고, 원하는 대로 문서를 출력하기 위해 Open Office의 내보내기 기능을 믿어야 했을지도 모른다. 쉽게 볼 수 없는 특수 파일 형식들이 있어서 협업이 어려울 수도 있었다. 두 번째는 소프트웨어 생태계 자체가 전반적으로 열악했다는 점이다. 주류 소프트웨어의 기능을 구현하려는 미완성 오픈소스 프로젝트가 많았지만, 항상 어딘가 부족했다. 부끄럽게도 나는 학계를 떠날 때까지 Matlab 때문에 계속 Windows를 사용했다.
요즘은 이 문제가 대부분 사라졌다고 생각한다. 대부분의 생산성 소프트웨어가 웹 앱(web-app)을 제공하고, 리눅스는 더욱 성숙해졌으며, 오픈소스 소프트웨어도 훨씬 좋아졌다. 여전히 Windows가 필요한 특정 목적의 소프트웨어(예: CAD)가 분명 있겠지만, 그 격차는 훨씬 좁아졌으며, 리눅스와 오픈소스는 더 이상 예전처럼 '참고 써야 하는 희생'이 아니다.
하지만 오픈 LLM2 사용자에게는 여전히 명백한 불이익이 존재한다. 모든 리더보드(순위표)는 API로 제공되는 독점 모델들이 꾸준히 석권하고 있다. 2026년인 오늘 기준으로, Claude와 GPT가 Artificial Analysis 지능 리더보드의 정상을 차지하고 있다. 이는 성능 측면에서다. 호환성 측면에서는 상황이 더 안 좋다. Claude Code는 그냥 바로 작동하며, 더 나아가 이 두 거대 기업은 사용하기 쉬운 훌륭한 API를 제공한다. 심지어 기준이 낮긴 하지만 우리가 대부분 LLM 쿼리를 전송하고 이들이 적절히 처리해주리라 믿는다는 점에서 '신뢰할 수 있다'.
오픈 모델은 다양한 경로로 제공되는데, 출시한 기업이 직접 제공하기도 하고 OpenRouter 같은 제3자를 통해 제공되기도 한다. 안타깝게도 이 두 가지 경로 모두 개인정보 보호 및 데이터 공유 측면에서는 더 불안정하며, 고객이나 기밀 데이터가 포함된 API 호출을 그들에게 보내는 것은 기존 거대 기업들에게 보낼 때와 같은 안도감을 느끼기 어렵다3. 물론 다른 방법은 직접 실행하는 것이다. 이는 개인정보 문제를 해결하지만, 비용이 많이 들거나 복잡하거나 상대적으로 느리다는 단점 중 적어도 두 가지 이상을 감수해야 한다.
최근까지 오픈 모델은 나에게 주로 취미 수준이었다. 처음 Llama가 유출된 이후로 계속 만지작거렸고, 틈새 사용 사례가 있을 때 가끔 사용했지만, 대부분의 전문적인 업무에서는 앞서 말한 '빅투(Big 2)'를 고수했다. 하지만 Claude의 신원 확인(ID verification) 도입4으로 인해 이런 상황이 변하고 있는 것 같다. 최근 모델들에 적용된 모든 새로운 '안전장치'와 그간의 논란들 때문에, 어차피 사용자들에게 상황이 악화되는 것은 불가피한 일이었다.
내가 왜 신원 확인(또는 그를 둘러싼 과장된 상황)을 받아들이지 않는지에 대해 길게 이야기하진 않겠다. 하지만 당장 우려되는 것은, 최상위 모델 사용을 중단할 때 어떤 종류의 직업적 페널티가 발생할 것인가 하는 점이다. 이 페널티가 최소한에 그칠 것이라 기대한다. 나는 이미 다양한 오픈 모델을 로컬이나 클라우드에서 실행할 수 있도록 환경을 구축해 두었고, 오픈 모델을 위한 좋은 코딩 도구들이 있으며, 무엇보다도 최근 오픈 모델의 성능이 선두 주자들에 매우 근접했고 보통 몇 달 정도만 뒤처져 있다. 이는 2008년의 Linux vs Windows 같은 느낌이 아니라 훨씬 더 근접한 상황이다. 생산성이 단기적으로는 타격을 받겠지만, 내가 연구를 하던 시절 Matlab에서 GNU Octave로 전환했을 때처럼 치명적이지는 않을 것이라 생각한다.
각주:
- MS Office 같은 생산성 소프트웨어가 필요한 일반적인 목적의 작업을 포함하는 기술 직군을 가정하여 작성되었습니다. ↩︎
- 여기서 말하는 '오픈(open)'은 모델 가중치(weights)가 공개되어 있다는 의미로 사용했습니다. 이것이 자동으로 오픈소스를 의미한다고 생각하지 않는 이유에 대해서는 꽤 많이 작성해왔지만, 여기서는 '오픈'을 줄임말로 사용했습니다. 이전에 이 문제를 다루었을 때와 달리, 현재 선두권에 있는 오픈 모델들은 대부분 내가 오픈소스로 간주하는 MIT 라이선스를 따릅니다 (비록 많은 사람들이 그렇게 생각하지 않지만 말입니다). ↩︎
- 이 부분에 대해 길게 다루지는 않겠습니다. 정정될 부분이 있다면 기꺼이 수용하겠습니다만, 제 경험상 정상적인 상황에서는... (원문 누락으로 인한 생략)