Hacker News • 32일 전

오픈소스와 폐쇄형 LLM의 성능 격차 분석

IMP

8/10

핵심 요약

오픈소스(Open Weights) LLM과 폐쇄형(Closed Source) LLM 간의 성능 격차가 전반적인 지표에서는 빠르게 줄어들고 있는 것처럼 보이지만, 18개의 세부 벤치마크를 종합적으로 분석한 결과 실제 격차는 약 5개월 수준에서 정체되어 있습니다. 특히 코딩 분야에서 오픈소스의 발전 속도가 압도적이며, 이는 LLM의 성능을 평가하는 기준에 따라 실제 기술 격차가 전혀 다르게 해석될 수 있음을 시사합니다.

번역된 본문

저는 최근 트위터(Twitter)에서 돌아다니는 위와 같은 차트를 보고 이에 대해 조금 더 깊이 파고들어 보고 싶었습니다. 위 차트는 오픈소스(Open Weights) LLM과 폐쇄형(Closed Source) LLM 간의 격차를 보여줍니다. 우리는 특정 벤치마크에서 오픈소스 LLM이 달성한 최고 성능을 기준으로, 폐쇄형 LLM이 과거에 그 수준에 도달했던 시점이 얼마나 오래 전인지를 되짚어봄으로써 이 격차를 측정합니다. 즉, 이는 폐쇄형 모델이 달성한 새로운 기능에 오픈소스 모델이 따라잡는 데 걸리는 시간을 측정하는 지표입니다.

이 벤치마크는 모델들의 전반적인 역량을 평가하려고 시도하는 'Artificial Analysis Intelligence Index'의 핵심 지수입니다. 일반적으로 이 지수는 사람들이 모델을 사용하면서 느끼는 주관적 체감 품질('vibe')과 매우 잘 상관관계를 이룹니다. 차트를 보면 2024년 여름 무렵부터 이 벤치마크에서의 격차가 줄어들기 시작했으며, 그 이후로 꾸준히 감소하고 있음을 알 수 있습니다. 여기에 추세선을 그려 미래로 연장해 보면, 이 격차는 2026년 12월 3일경, 즉 글을 작성하는 현재 시점으로부터 약 6개월 후에는 0개월(전혀 없음) 수준으로 수렴하게 됩니다. 그러니 지금이 연금을 모두 현금화하고 외딴 섬으로 날아가 문명이 끝나기 전 남은 6개월을 평화롭게 보낼 적기일지도 모릅니다.

… 그러나. 이것이 전부는 아닐 수 있습니다. 이는 단일 벤치마크에 불과하며, LLM의 역량에 대한 완전한 그림을 제공하지 않습니다. 다행히 'Artificial Analysis'는 이 모델들을 측정한 18개의 다양한 벤치마크 데이터를 제공합니다. 저는 이 18개 벤치마크 전체에 대해 동일한 분석을 반복했고, 그 결과를 아래 차트에 요약했습니다.

18개의 데이터셋 각각에 대해 유사한 차트를 만들었습니다. 페이지 하단에서 18개의 차트를 모두 확인할 수 있습니다. 매월 각 데이터셋의 격차를 상자 수염 그림(Box plot)으로 나타냈습니다. 그런 다음 시간 경과에 따른 모든 상자 수염 그림을 그렸습니다. 또한 데이터셋 전체의 격차 평균을 계산하고 그에 대한 추세선을 도출했습니다. 그 추세선은 전체 기간 동안 약 5개월 미만의 수준을 유지하며 거의 완전히 평평한 형태를 보입니다.

주목할 만한 점은 모델의 총 성능 향상 중 상당 부분이 코딩(Coding) 벤치마크에서 이루어졌다는 것입니다. 코딩 지수는 과거 15개월 뒤처져 있던 것에서 단 1~2개월 뒤처진 수준까지 따라잡았습니다. 반면 다른 대부분의 데이터셋에서는 시간이 지남에 따라 격차가 다소 증가하는 추세를 보입니다. 따라서 오픈소스의 종말(혹은 완전한 폐쇄형 모델의 패배)은 아직 일어나지 않을 수도 있습니다. 이러한 분석이 진정으로 시사하는 바는 LLM의 품질을 측정하는 것이 얼마나 어려운가입니다. 어떤 방식으로 측정하느냐에 따라 크리스마스쯤에는 오픈소스가 폐쇄형을 완전히 추월할 것이라 예측할 수도 있고, 아니면 오픈소스 LLM이 꾸준히 5개월 뒤처져 있으며 그 격차가 벌어지고 있다고 말할 수도 있습니다.

원문 보기

원문 보기 (영어)

I have seen a version of the above plot going around Twitter and wanted to dig a bit deeper into it. What the plot above is showing is the gap between open weights LLMs and closed source LLMs. We measure this gap by looking at the frontier of performance of open weights LLMs on a benchmark and then looking back into the past how long ago was the closed source frontier at that level. It is a measure of how long it took for open source models to catch up to the new capabilities reached by the closed source model frontier. This benchmark is the Artificial Analysis Intelligence Index - their headline index that tries to assess the overall capabilities of models. In general it correlates quite well with the ‘vibe’ people seem to get from models. You can see that around summer 2024 the gap on this benchmark starts to shrink, and has been reliably shrinking since then. If you plot a line of best fit and extend it into the future you find that the gap shrinks to 0 months around December 3rd 2026 - 6 months or so from the time of writing. Now is probably a good time to liquidate your pension, fly to a remote island somewhere, and live out the remaining 6 months or so of civilization in peace. … Except. This might not be the whole picture. This is only a single benchmark, and doesn’t give a complete picture of the capabilities of LLMs. Kindly, Artificial Analysis gives us access to 18 different benchmarks that they have measured for these models. I have repeated the analysis for all the 18 different benchmarks and I have summarized them in the plot below: For each of the 18 datasets we have created a similar chart. You can see all 18 at the bottom of the page. At each month we have created a box plot of the gap for each dataset. We have then plotted all the box plots over time. We have also calculated the average of the gaps across datasets, and calcuated a line of best fit for that. That line is almost completely flat, at just under 5 months for the entire period. What is notable is that a large amount of the total improvement of models has been in the coding benchmark. The coding index has gone from 15 months behind to only a month or two behind. Most other datasets have a moderate increase over time in their gaps. So maybe the open source apocalypse won’t happen yet. What this exercise does suggest is the difficulty of measuring LLM quality. Depending on how you measure it you would predict the open source singularity by Christmas, or you would say that open source LLMs are consistently 5 months behind close source, and that the gap might be growing.

오픈소스 폐쇄형 LLM 벤치마크 성능 격차