Hacker News • 5일 전

오픈 가중치 모델로 Fable 수준 성능, 비용은 3분의 1

IMP

7/10

핵심 요약

오픈 가중치(open-weight) 모델들을 단일 모델처럼 묶어 하나의 AI 시스템으로 운영하는 새로운 접근법이 공개됐습니다. 요청마다 참여할 모델과 연산량을 동적으로 할당하는 방식으로, 강력한 단일 모델 대비 추론 비용을 3분의 1로 줄이면서도 동등한 성능을 달성하는 실무적 의미가 큽니다.

번역된 본문

최근 저는 특정 모델 하나만 단독으로 사용하는 대신, 오픈 가중치(open-weight) 모델 풀을 활용해 하나의 통합된 AI 시스템을 구축하는 실험인 Echo(https://echo.tracerml.ai/)를 개발했습니다.

이 프로젝트는 단순한 실험에서 시작되었습니다. GLM-5.2, Kimi K2.7 등 여러 모델을 그룹으로 묶어 동일한 평가를 진행했습니다. 그런 다음, 각 문제마다 어떤 모델이 유용할지 미리 알고 있고 그 출력물을 어떻게 결합해야 할지도 알고 있다고 가정했을 때 어떤 결과가 나오는지 측정해 보았습니다.

그 결과, 이 가상의 시스템은 풀(pool)에 있는 개별 모델 중 그 어떤 것보다도 훨씬 뛰어난 성능을 보였습니다. 물론 결과를 미리 알고 있다는 가정에 의존하기 때문에 실제 서비스에 바로 적용할 수는 없습니다. Echo는 그러한 사전 정보 없이도 그 이점의 일부를 되찾기 위해 제가 시도한 결과물입니다.

Echo는 사용자의 각 요청마다 얼마나 많은 컴퓨팅 연산(computation)을 할당할지, 어떤 모델이 참여할지, 그리고 그 작업 결과물을 어떻게 결합할지를 스스로 결정합니다. 어떤 프롬프트는 비교적 적은 추론(inference)만으로 해결될 수도 있지만, 다른 프롬프트는 여러 모델이 문제의 각기 다른 부분을 나누어 처리할 때 더 큰 효과를 발휘합니다.

시스템을 구축하면서 놀라웠던 점은 모델들이 서로 얼마나 상호 보완적인지였다는 것입니다. 전반적인 성능이 확실히 떨어지는 모델이라도 특정 문제에서는 여전히 매우 유용할 수 있으며, 여러 모델의 조합의 일부로서도 훌륭한 역할을 할 수 있었습니다.

첫 번째 혼합 평가에서 Echo는 모델 풀에 있는 가장 성능이 좋은 개별 모델보다 지속적으로 더 나은 결과를 보여주었습니다. 또한, 강력한 비교 시스템 중 하나로 사용된 Fable과 거의 동일한 종합 결과를 약 3분의 1의 추론 비용으로 달성했습니다.

여전히 Echo가 잘못된 연산 할당이나 모델 결합 결정을 내리는 경우가 일부 존재합니다. 저는 현재 각 의사결정의 질을 평가하기가 훨씬 더 어려워지는 코딩 및 에이전트(agentic) 작업에서도 동일한 접근 방식이 유효한지 테스트하는 것과 함께, 이러한 실패 사례들을 이해하기 위해 많은 시간을 투자하고 있습니다.

채팅 인터페이스도 구축했습니다.

원문 보기

원문 보기 (영어)

I’ve been building Echo (<a href="https://echo.tracerml.ai/" rel="nofollow">https://echo.tracerml.ai/</a>), an experiment in making one AI system out of a pool of open-weight models rather than choosing a single model and using it for every task.It started with a simple experiment. I took a group of models, including GLM-5.2, Kimi K2.7 and others, and ran them on the same evaluations. Then I measured what would happen if, for each problem, you somehow knew in advance which models would be useful and how their outputs should be combined.That hypothetical system performed substantially better than any individual model in the pool. Of course, it is not something you can actually deploy because it relies on knowing which decisions were good after seeing the result. Echo is my attempt to recover some of that advantage without having that information in advance.For each request, Echo decides how much computation to allocate, which models should participate, and how their work should be combined. Some prompts may only need a relatively small amount of inference, while others benefit from multiple models working on different parts of the problem.One thing that surprised me while building it was how complementary the models are. A model that is clearly weaker overall can still be extremely useful on particular problems or as part of a combination.On my first evaluation mix, Echo consistently performed better than the best individual model in its pool. It also reached roughly the same aggregate result as Fable, which I used as one of the stronger comparison systems, at around one third of the inference cost.There are still some cases where Echo makes the wrong allocation or combination decision. I’m currently spending a lot of time understanding those failures, as well as testing whether the same approach holds up on coding and agentic tasks where measuring the quality of each decision becomes much harder.I built a chat inter

오픈소스 모델 라우팅 오픈 가중치 비용 효율성 에이전트