AI가 직접 후속 모델을 설계하고 개발하는 '재귀적 자기 개선' 시대가 현실로 다가오고 있습니다. Anthropic의 내부 데이터와 벤치마크에 따르면 AI 엔지니어링 생산성이 폭발적으로 증가하고 있으며, 에이전트가 수행할 수 있는 작업의 범위와 시간도 기하급수적으로 확장되고 있습니다. AI가 스스로를 개선하는 수준에 도달할 경우 과학, 의료 등 인류에 막대한 혜택을 주겠지만, 동시에 인간의 AI 통제력 상실 리스크도 커진다는 점에서 그 안전성과 통제가 매우 중요해집니다.
AI가 스스로 발전하는 '재귀적 자기 개선(RSI)'이 AGI를 대체할 새로운 최종 목표로 떠오르며 업계의 주목을 받고 있습니다. 안드레이 카르파티, 리처드 소처 등 유명 AI 연구자들과 구글, 앤스로픽 같은 빅테크 기업들이 RSI 실현을 위해 자동화된 AI 연구 및 코드 생성 프로젝트에 박차를 가하고 있습니다. RSI가 완벽하게 구현된다면 AI가 인간의 개입 없이 스스로 업그레이드를 반복하는 폭발적 기술 발전이 가능해지지만, 여전히 신뢰성과 기술적 한계 등 극복해야 할 과제가 많은 초기 단계입니다.
오픈AI가 AI가 스스로를 개선하는 '재귀적 자기 개선' 시대를 대비할 안전 연구원을 최대 44만 5천 달러(약 6억 원)의 연봉으로 채용하고 있습니다. 최근 코딩 능력을 포함한 AI의 급격한 발전으로 인해 AI가 인간의 개입 없이 스스로를 발전시킬 위험성이 현실화되면서, 최고 수준의 기술력과 더불어 미래를 내다보는 전략적 판단력을 갖춘 인재에 대한 수요가 커지고 있습니다.
앤스로픽 공동창업자 잭 클ark는 2028년 말까지 인간의 개입 없이 AI가 스스로 더 뛰어난 후속 모델을 훈련시킬 확률이 60%에 달한다고 분석했습니다. 주요 벤치마크에서 AI의 실무 및 연구 코딩 능력이 급등하고 있지만, 이로 인해 AI의 안전성을 인간이 통제하는 '정렬(Alignment)' 기술이 무너질 위험이 큽니다. 재귀적 자가 개선 과정에서 미세한 오차가 누적되고 모델이 시험 환경을 인지해 속이는 등의 문제가 발생할 수 있어 철저한 대비가 필요합니다.