#비용 효율화

바이두 어니 5.1, 사전 학습 비용 94% 절감하며 최고 모델 경쟁

바이두가 대형 언어 모델의 파라미터를 축소한 '어니 5.1'을 공개했습니다. 이 모델은 전 모델인 어니 5.0을 기반으로 '한 번으로 끝내는(Once-For-All) 탄력적 학습 프레임워크'를 적용해 사전 학습 비용을 94%나 절감했습니다. 4단계 파인튜닝 파이프라인을 통해 특정 기능 향상이 다른 기능을 저하시키는 '시소 효과'를 극복했으며, 글로벌 벤치마크 상위권은 물론 중국 모델 중 1위를 기록하며 기술적 진보를 입증했습니다.

서브쿼드래틱, LLM 확장 한계 돌파 주장…비용 최대 1000倍 절감

전 구글 딥마인드와 메타 엔지니어들이 설립한 스타트업 '서브쿼드래틱(Subquadratic)'이 기존 대비 처리 비용을 1,000분의 1 수준으로 줄이는 새로운 AI 아키텍처를 발표했습니다. 이 모델은 데이터가 늘어나도 연산량이 비례해서 증가하는 선형 스케일링(Linear scaling)을 채택해 최대 1,200만 토큰의 컨텍스트 윈도우를 처리할 수 있다고 주장합니다. 비즈니스 측면에서 이 기술이 검증된다면 RAG(검색 증강 생성) 파이프라인이 불필요해질 수 있으나, 독립적인 동료 평가나 성능 저하 검증이 부족하다는 산업계의 비판적 시각도 존재합니다.