AI 연구자들이 AI가 위험해질 수 있다고 믿으면서도 개발 속도를 늦추는 구체적 방법은 아직 풀리지 않은 과제로 남아 있다. 토론토 대학의 새 보고서 'Pacing the Frontier'는 이를 연구 과제로 다뤄야 한다고 주장하며, 제3자 평가기관의 모델 검증과 감사 등이 유력한 방안으로 제시되고 있다. Anthropic은 AI가 자사 AI 연구의 26%를 수행하고 있다는 추적 기법을 발표하는 등 재귀적 자기개선(RSI)에 대한 우려가 커지는 상황이다.
OpenAI가 나비에-스토크스 방정식에 이어 수학 7대 밀레니엄 난제 중 하나인 호지 추측(Hodge conjecture)의 해결에 근접한 것으로 알려졌습니다. 회사 내부에서는 차세대 사전학습 모델 'Doug' 변형을 활용해 문제를 풀고 있으며, 이는 재귀적 자기개선 연구에 활용될 가능성이 제기되고 있습니다. 한편 수학계는 인상받기보다 위기감과 분노를 표출하고 있습니다.
Dwarkesh Patel이 John Schulman(Thinking Machines 수석 과학자, OpenAI 공동창업자), Beren Millidge(Zyphra CTO), Charlie O'Neill(Baseten 모델 학습 책임자)과 함께 재귀적 자기개선(RSI)의 실현 가능성과 시점을 논의하는 팟캐스트 에피소드입니다. RSI 반대 논거를 강화하는 방식(steelmaning)으로 시작해 중국 AI 랩의 성장 동력, 자동화 AI 연구자 학습 방법, 장기 시야 강화학습(RL)이 AGI를 가져올지, 시뮬레이션-현실 간 격차, 데이터가 설명하는 발전의 비중 등을 다룹니다.
구글 딥마인드 연구 부사장을 지낸 오리올 비닐스(Oriol Vinyals)는 AI의 재귀적 자기개선(RSI)은 불가피하지만 갑작스러운 지능 폭발로 이어지지는 않을 것이라고 전망했습니다. 그는 아이디어 발굴과 결과 평가가 최대 병목이며, AI에는 '연구 감각(research taste)'이 부족하다고 지적했습니다. 그는 제프 딘 등과 함께 스타트업 '디스커버리 루프(Discovery Loop)'를 설립해 과학 연구 과정의 전면 자동화를 추진합니다.
OpenAI가 내부 데이터를 공개하며 자체 모델 개발에서 AI 에이전트가 차지하는 비중이 급증했고, 작년 가을 발표한 '자동화 연구 인턴' 목표를 달성했다고 밝혔습니다. 수석 과학자 야쿠브 파초키(Jakub Pachocki)는 재귀적 자기 개선(RSI)에 빠르게 접근하고 있다며, 그러나 어느 연구소도 이러한 시스템의 통제 문제를 충분히 해결하지 못했다고 이례적으로 직설적인 경고를 덧붙였습니다.