Magic Team이 알고리즘 효율 개선을 축적하여 주요 오픈 웨이트 기반 모델 대비 10배 이상 컴퓨팅 효율이 높은 사전학습 레시피를 발표했습니다. DeepSeek V4 Pro Base와 약 50배 적은 FLOPs(~$0.5M)로 동등한 성능을 달성했으며, $4M 규모로 확장 시 공개된 모든 오픈 기반 모델의 퍼플렉시티를 능가했습니다. 대규모 칩 없이도 알고리즘 혁신만으로 프론티어급 사전학습이 가능함을 보여준다는 점에서 주목받습니다.
Axis Robotics는 웹 브라우저에서 로봇 시연 데이터를 수집하고 고비용 연산은 백엔드 GPU로 처리하는 'AXIS'를 발표했습니다. 이를 통해 207개 과제와 50,129개의 검증된 Franka 궤적(trajectory)을 확보했으며, 지속 사전학습으로 π0.5가 LIBERO-Plus에서 83.9에서 88.8로 향상된 반면, 동량 대조군 RoboCasa365는 57.5에 그쳤습니다.
LLM을 단순한 '다음 토큰 예측기'로 이해하는 것은 사전학습(pre-training)만 설명하는 불완전한 모델이라는 주장입니다. 검증 가능한 보상 기반 강화학습(RLVR)을 통한 후속학습(post-training)은 모델이 기존 학습 데이터를 모방하는 것을 넘어, 스스로 생성한 새로운 시퀀스의 결과로부터 학습하게 만듭니다. 체스 엔진 비유를 통해 '기존 데이터의 다음 수를 예측하는 것'과 '이기는 수를 선택하는 것'의 차이를 설명합니다.
이 글은 이미지·비디오 생성 모델의 성능 향상이 아키텍처 변화가 아닌 데이터 개선(필터링, 어노테이션, 합성 데이터 생성)에서 비롯된다고 분석합니다. 특히 2024년 CPU 기반 전통적인 컴퓨터비전 알고리즘(PySceneDetect 등)으로 수백억 개의 이미지·비디오를 저비용으로 필터링한 실무 경험을 소개합니다. 자체 생성 모델을 학습시키려는 실무자에게 실용적인 가이드가 될 수 있습니다.
LAION이 CommonCrawl에서 수집한 13억 개의 비디오 URL을 기반으로 총 1천만 시간 분량의 8천만 개 비디오를 포함한 대규모 오픈 데이터셋 'LAION-BVD'를 연구 커뮤니티에 공개했습니다. 이 데이터셋은 비디오·오디오·이미지-텍스트 멀티모달 사전학습용으로 설계되었으며, 장면 감지로 추출한 클립에 합성 캡션을 생성했습니다. 이 데이터로 학습된 모델들은 표준 비디오-텍스트·오디오-텍스트 벤치마크에서 경쟁력 있는 성능을 보였고, 특히 InternVid 기반 모델 대비 최대 2.1% 향상된 성과를 달성했습니다.
로봇 스타트업 Generalist AI가 단 한 번의 시연 영상만으로 로봇이 새 작업을 수행하게 하는 AI 모델 GEN-1.5를 공개했습니다. 3~12초 시연을 '물리적 프롬프트'로 컨텍스트 윈도우에 입력하면 별도 학습 없이 작업을 수행하며, 5분 데이터로 10번만 미세조정하면 성공률이 59%에서 83%로 상승합니다. 다만 모든 결과는 회사 자체 발표로 아직 독립적으로 검증되지 않았습니다.
최첨단 AI 모델들의 API를 정밀하게 테스트(프로빙)하여 모델 내부의 파라미터 수, 학습 데이터 비율, 그리고 사전 학습이 이루어진 정확한 시기를 역추론하는 연구를 다룬 글입니다. GPT와 클로드 등 주요 모델들에 역사 퀴즈를 풀게 하여 오류율이 급증하는 시점을 분석하면, 해당 모델이 학습한 데이터의 시점(지식 컷오프)과 사전 학습 체크포인트의 완료 시점을 파악할 수 있습니다. 이는 AI 개발사들이 철저히 비밀에 부치는 모델의 학습 일정과 데이터 구성을 외부에서 추정할 수 있다는 점에서 중요한 의미를 가집니다.