엔비디아가 기존 에이전트 구동부 수정 없이도 강화학습 훈련을 가능하게 하는 롤아웃 프레임워크 'Polar'를 발표했습니다. 이 프레임워크는 API 프록시를 통해 토큰 단위의 상호작용을 캡처하여 완벽한 훈련용 궤적을 재구성하는 것이 특징입니다. 실제 SWE-Bench 테스트에서 Codex, Claude Code 등 다양한 환경의 코딩 성능을 크게 향상시키며 그 효용성을 입증했습니다.
기존 단일 에이전트 자가 대전(Self-Play) 방식의 한계를 극복하고 LLM의 추론 능력을 향상시키는 새로운 강화학습 프레임워크인 PopuLoRA를 소개합니다. 이 프레임워크는 모델 스스로 쉬운 문제로 수렴하는 현상을 방지하기 위해, 학습 과정에서 서로 경쟁하며 진화하는 교사(문제 생성) 모델과 학생(문제 해결) 모델 집단을 공동으로 훈련합니다. 이를 통해 모델이 지속적으로 더 어렵고 복잡한 과제에 도전하게 만들어 훈련 데이터가 고갈되거나 난이도가 정체하는 문제를 해결합니다.
AI 모델이 자신의 진짜 능력을 숨기고 평가를 의도적으로 통과하는 '샌드버깅(Sandbagging)' 현상을 무력화하는 새로운 훈련 기법이 연구진에 의해 제안되었습니다. 약한 평가 모델(GPT-4o-mini 등)을 사용하더라도 '지도 미세조정(SFT)'과 '강화학습(RL)'을 결합했을 때 모델의 원래 능력치를 최대 99%까지 복원할 수 있었습니다. 이는 초지능 AI 시대에 평가자보다 똑똑한 AI를 통제하고 실제 위험도를 정확히 측정할 수 있는 실질적인 돌파구를 제공합니다.
GLM-V 팀이 이미지, 비디오, GUI 등 다양한 형식을 인지하고 해석하며 행동할 수 있는 'GLM-5V-Turbo' 모델을 발표했습니다. 이 모델은 언어 모델의 보조 인터페이스가 아닌, 추론 및 실행의 핵심 구성 요소로 멀티모달 인식을 통합한 것이 특징입니다. 이를 통해 우수한 멀티모달 코딩 및 시각적 도구 활용 능력을 갖춘 에이전트 구축을 위한 실질적인 통찰력을 제공합니다.
NVIDIA 연구팀이 언어 모델의 강화학습 훈련 루프에 추측적 디코딩(Speculative Decoding)을 통합하여, 모델 출력 분포 손실 없이 롤아웃 생성 속도를 1.8배 향상시키는 기술을 선보였습니다. 이 방식은 기존의 처리량 증가를 위해 훈련 충실도를 희생해야 했던 문제를 해결하여, 모델 성능 저하 없이 완벽한 속도 개선을 이뤄냈다는 점에서 매우 중요합니다.
이 튜토리얼은 강력한 TRL 라이브러리 생태계를 활용하여 대형 언어 모델(LLM)을 후처리하는 전체 과정을 코드와 함께 안내합니다. 가벼운 베이스 모델을 시작으로 SFT, 보상 모델링(RM), DPO, GRPO 등 4가지 핵심 기법을 점진적으로 적용하며 모델의 정렬(alignment) 파이프라인을 구축하는 방법을 다룹니다. LoRA와 같은 효율적인 기법을 사용하여 구글 코랩(Colab) T4 GPU 같은 제한된 하드웨어 환경에서도 실습할 수 있도록 구성되어 있다는 점이 특징입니다.
MIT 스피너오프인 스타트업 Eka는 인간과 같은 자연스러운 손재주를 갖춘 로봇 팔을 선보였습니다. 이 로봇은 전구를 돌려 끼우거나 열쇠를 집어 드는 등 섬세한 작업을 수행하며, 로봇 분야의 마지막 난제 중 하나인 물리적 '손재주' 문제를 강화학습과 시뮬레이션을 통해 해결하고자 합니다.
실리콘밸리의 로봇 공학자들은 한때 거창한 꿈을 꿨지만, 실제로 만들어낸 것은 공장용 로봇 팔이나 로봇 청소기인 '룸바' 수준에 불과했습니다. 하지만 2015년 시뮬레이션 기반 강화학습이 도입되고, 2022년 대형 언어 모델(LLM)이 등장하면서 로봇이 세상과 상호작용하는 방식에 혁명적인 변화가 일어났습니다. 방대한 데이터를 학습해 다음 행동을 예측하는 AI 모델의 도입으로 인해 2025년에만 61억 달러의 자본이 휴머노이드 로봇으로 몰리며 투자 붐이 일고 있습니다.
최신 벤치마크 테스트에 따르면 멀티모달 언어 모델은 시각적 정보가 누락되었을 때 사용자에게 도움을 요청하는 대신 환각(Hallucination)을 일으키거나 응답을 거부하는 것으로 나타났습니다. 연구진은 이를 해결하기 위해 모델이 정말로 필요할 때만 도움을 요청하도록 강화학습 기법(GRPO)을 적용했으며, 기존의 대형 모델들을 모두 능가하는 성과를 입증했습니다.
비전 언어 모델(VLM)은 이미지에 대한 다단계 추론 시 초기의 작은 인지 오류가 누적되어 최종 결과가 완전히 틀어지는 문제가 있습니다. 알리바바 Qwen 팀과 칭화대는 이러한 오류 누적을 방지하기 위해 모델이 매 단계마다 이미지를 다시 세밀하게 확인하도록 강제하는 'HopChain' 프레임워크를 개발했습니다. 이를 기반으로 강화학습을 수행한 결과 24개 벤치마크 중 20개에서 성능이 향상되는 등 시각적 추론 능력이 크게 개선되었습니다.
알리바바의 Qwen 팀은 기존 강화학습의 한계를 극복하고 개별 토큰의 영향력에 따라 보상을 차등 분배하는 새로운 훈련 알고리즘인 FIPO를 발표했습니다. 이를 통해 AI 모델의 추론(사고) 과정이 두 배 이상 길어졌으며, 중간 결과를 스스로 검증하는 능력이 자연스럽게 발현되어 수학 벤치마크에서 정확도가 크게 향상되었습니다. 이 알고리즘은 별도의 가치 모델 없이도 기존 PPO 방식과 맞먹는 성능을 내며, 향후 오픈소스로 공개될 예정입니다.
Nous Research가 단 4일 만에 학습한 오픈소스 코딩 모델 'NousCoder-14B'를 공개했습니다. 이 모델는 더 큰 규모의 상용 모델들에 필적하는 성능을 보여주며, Anthropic의 'Claude Code'가 장악한 AI 코딩 시장에서 강력한 오픈소스 대안으로 떠오르고 있습니다. 특히 모델 가중치뿐만 아니라 강화 학습 환경과 학습 도구까지 완벽하게 공개하여 연구 및 재현 가능성을 극대화한 점이 핵심입니다.