HN
Hacker News • 45일 전
IMP 8
CPU의 시대는 끝나지 않았다: 노트북으로 돌리는 2B 모델이 GPT-3.5 터보를 능가하다
구글의 오픈소스 소형 언어 모델인 Gemma 2B가 단순한 파이썬 래퍼 169줄과 일반적인 소비자용 CPU 환경(GPU 불필요)만으로 MT-Bench 벤치마크에서 약 8.0점을 기록하며 GPT-3.5 Turbo(7.94점)를 추월했습니다. 개발팀은 모델의 고질적인 논리 오류 및 제약 무시 등 7가지 실패 패턴을 분석하고 약 60줄의 파이썬 코드를 통해 이를 정교하게 수정하여 점수를 8.2점으로 끌어올렸습니다. 이를 통해 현재 AI 분야의 발목을 잡고 있는 병목 현상은 하드웨어 연산량의 한계가 아니라 소프트웨어 엔지니어링의 문제이며, 동기 부여만 있다면 개발자 누구나 주말 만에 이 격차를 좁힐 수 있음을 증명했습니다.
오픈소스 모델 Gemma 2B CPU 인퍼런스