#메타러닝

RTX 5090로 1.5시간 만에 학습한 소형 트랜스포머가 다수 LLM 능가

한 연구자가 RTX 5090 하나로 1.5시간 만에 소형 트랜스포머를 처음부터 학습시켜 ARC-AGI 벤치마크에서 많은 대형 LLM과 동등하거나 그 이상의 성적(44%)을 달성했습니다. 테스트 시점에 퍼즐별로 모델을 직접 학습하는 메타러닝 접근법으로, 샘플 효율성(sample efficiency) 한계를 탐구하는 연구입니다. 코드는 오픈소스로 공개되어 저비용으로 누구나 재현·후속 연구가 가능하다는 점이 의미 있습니다.

AI를 강화학습시켜 AI를 강화학습시키는 에이전트 개발 (약 1,300달러)

개발자가 강화학습(RL)을 통해 다른 AI 모델을 효과적으로 학습시키는 방법을 스스로 터득하는 메타 에이전트를 구축했습니다. 이 에이전트는 주어진 과제에 맞춰 데이터셋과 보상 코드 등을 작성해 실제 GPU 환경에서 소형 모델을 학습시키며, 모델의 성능이 오를수록 에이전트 자체도 강화학습으로 발전합니다. 코드와 모델 가중치 등 모든 과정이 오픈소스로 공개되어, 자가 개선(self-improving)이 가능한 AI 시스템의 실질적 구현 및 저비용 검증이라는 점에서 매우 중요합니다.