바이두 어니 5.1, 사전 학습 비용 94% 절감하며 최고 모델 경쟁
바이두가 대형 언어 모델의 파라미터를 축소한 '어니 5.1'을 공개했습니다. 이 모델은 전 모델인 어니 5.0을 기반으로 '한 번으로 끝내는(Once-For-All) 탄력적 학습 프레임워크'를 적용해 사전 학습 비용을 94%나 절감했습니다. 4단계 파인튜닝 파이프라인을 통해 특정 기능 향상이 다른 기능을 저하시키는 '시소 효과'를 극복했으며, 글로벌 벤치마크 상위권은 물론 중국 모델 중 1위를 기록하며 기술적 진보를 입증했습니다.
바이두가 대형 언어 모델의 파라미터를 축소한 '어니 5.1'을 공개했습니다. 이 모델은 전 모델인 어니 5.0을 기반으로 '한 번으로 끝내는(Once-For-All) 탄력적 학습 프레임워크'를 적용해 사전 학습 비용을 94%나 절감했습니다. 4단계 파인튜닝 파이프라인을 통해 특정 기능 향상이 다른 기능을 저하시키는 '시소 효과(Seesaw Effect)'를 극복했으며, 글로벌 벤치마크 상위권은 물론 중국 모델 중 1위를 기록하며 기술적 진보를 입증했습니다.
핵심 요약:
- 바이두는 전 모델인 어니 5.0에서 추출(Distilled)하고 파라미터를 축소한 어니 5.1을 출시하여 자원 효율성을 높이는 동시에 중국 AI 벤치마크 1위를 차지했습니다.
- 이 모델은 코드, 논리, 에이전트(Agent) 작업을 위한 전문가 모델(Specialized expert models)을 활용하는 4단계 학습 파이프라인(Pipeline)을 사용하여 학습 과정 중 각기 다른 능력이 서로 간섭하는 것을 방지하도록 설계되었습니다.
- 어니 5.1은 바이두 플랫폼을 통해 접근 가능하고 다양한 크리에이티브 애플리케이션에 통합되었지만, 모델 가중치(Weights)는 비공개 폐쇄형으로 유지되어 독립적인 성능 검증은 불가능한 상태입니다.
바이두는 전신인 어니 5.0의 사전 학습(Pre-training) 기반 위에 구축되었으나, 총 파라미터는 약 3분의 1 수준이며 쿼리당 활성화되는 파라미터는 절반에 불과한 어니 5.1을 출시했습니다. 바이두에 따르면 사전 학습 비용은 동급 모델이 필요로 하는 비용의 단 6% 수준에 불과합니다. 5월 9일 기준 아레나 서치 리더보드(Arena Search Leaderboard)에서 어니 5.1은 1,223점을 획득하여 전 세계 4위, 중국 모델 중에서는 1위를 차지했습니다.
추가 벤치마크 테스트에서 바이두는 어니 5.1이 자율형 AI 에이전트 작업(tau3-bench, SpreadsheetBench-Verified)에서 DeepSeek-V4-Pro를 이겼으며, 지식 및 추론 벤치마크(GPQA, MMLU-Pro)에서는 구글의 Gemini 3.1 Pro에 근접한 성능을 보인다고 주장했습니다. 난이도 높은 수학 벤치마크(AIME26)에서는 도구 사용 권한을 부여했을 때 Gemini 3.1 Pro 바로 뒤를 이었습니다. 바이두는 내부 평가에서 이 모델이 서구의 상용 모델들과 창의적 글쓰기 분야에서도 맞먹는 성능을 보여준다고 덧붙였습니다.
더 작은 모델로 파생된 어니 5.1 바이두는 회사 측이 '한 번으로 끝내는(Once-For-All) 탄력적 학습 프레임워크'라고 부르는 방식을 사용하여 어니 5.0에서 더 작은 하위 모델로 어니 5.1을 구축했습니다. 각 모델 크기에 대해 별도의 비싼 사전 학습 과정을 거치는 대신, 단 한 번의 실행으로 다양한 크기의 모델 패밀리 전체를 최적화합니다. 이 모델들은 가중치를 공유하지만 깊이(Depth), 너비(Width), 그리고 특정 쿼리에 대해 활성화되는 전문가 블록(Expert blocks)의 수가 다릅니다. 바이두는 이 패밀리 중 가장 최적의 구성을 어니 5.1로 선택했으며, 어니 5.0에서 이미 막대한 컴퓨팅 작업이 완료되었기 때문에 사전 학습 비용이 낮게 측정된 것입니다.
또한 바이두는 강화 학습(Reinforcement learning) 인프라를 밑바닥부터 재구축했습니다. 핵심 구성 요소인 모델 업데이트, 응답 생성, 평가는 전통적으로 긴밀하게 결합되어 작동했습니다. 그러나 이제 바이두는 중앙 컨트롤러가 조정하는 독립적으로 확장되는 개별 하위 시스템(Subsystems)으로 이들을 분리하여 실행합니다. 각 구성 요소에 적합한 하드웨어를 할당하며, 한 단계의 병목 현상이 다른 단계를 방해하지 않는다고 회사는 설명했습니다.
대형 모델의 강화 학습에서 지속적인 문제는 서로 다른 컴퓨팅 설정으로 인해 학습과 예제 생성 사이에 발생하는 드리프트(Drift) 현상입니다. 이는 전체 과정을 불안정하게 만들 수 있습니다. 바이두는 표준화된 저정밀도(Low-precision) 연산 라이브러리와 함께 모델의 처리 속도를 눈에 띄게 저하시키지 않으면서 드리프트를 절반으로 줄여주는 혼합 전문가(MoE, Mixture-of-Experts) 모델용 보정 메커니즘을 적용해 이 문제를 해결합니다.
'시소 효과'를 해결하는 4단계 파이프라인 바이두는 잘 알려진 문제, 즉 여러 스킬을 한꺼번에 학습하면 한 영역의 향상이 다른 영역의 희생을 초래하는 문제를 해결하기 위해 4단계 파인튜닝(Fine-tuning) 과정을 사용합니다. 바이두는 이를 '시소 효과(Seesaw Effect)'라고 부릅니다. 즉, 코딩 능력, 논리력, 창의성이 서로를 끌어내리게 됩니다. 이 파이프라인은 광범위한 데이터셋에 대한 표준 지도 학습(Supervised training)으로 시작됩니다. 두 번째 단계에서는 코드, 추론, 에이전트 작업을 위해 각각 하나씩, 고유한 평가 신호(Evaluation signals)를 가진 여러 전문가 모델을 병렬로 학습시킵니다. 세 번째 단계에서는 단일 학생 모델(Student model)이 자체적으로 답변을 생성하여 전문가 모델의 출력과 비교함으로써 이 모든 교사 모델(Teachers)로부터 동시에 학습합니다. 마지막 단계에서는 일반적인 강화 학습(Reinforcement learning)을 추가하여 모델의 성능을 최종적으로 고도화합니다.