OpenAI는 AI가 차세대 AI 연구를 자동화하는 '재귀적 자기 개선(RSI)'에 대한 국제 표준 마련을 촉구했습니다. RSI는 AI 발전을 극적으로 가속할 수 있지만, 안전장치 없이는 인간이 AI 개발을 통제할 수 없게 될 위험이 있습니다. OpenAI는 미국이 주도하여 공통 측정 방법, 사고 보고, 자동화 AI 연구에 대한 인간 감독 규칙을 포함한 글로벌 기술 표준을 세울 것을 제안했습니다.
구글 딥마인드와 앤스로픽을 포함한 주요 AI 연구소에서 일하던 연구자들이 '재귀적 자기 개선(recursive self-improvement)'에 대한 두려움으로 잇달아 사임하고 있다. 최근 AI 능력의 놀라운 발전과 보안 사고가 겹치면서, AI가 인간의 통제를 벗어나 스스로를 개선하는 시나리오가 더 이상 이론이 아닌 현실로 다가오고 있다는 우려가 커지고 있다.
MIT 테크놀로지 리뷰 뉴스레터로, AI가 스스로를 개선하는 '재귀적 자기 개선'이 생각보다 멀었음을 시사하는 연구 결과를 다룹니다. 또한 이번 여름 북반구 극심한 폭염의 배경에 기후변화와 엘니뇨가 있으며 2027년이 더 더울 수 있다고 분석합니다.
프린스턴대 연구진이 개발한 '섀도우 평가' 실험에서 AI 에이전트는 연구에 필요한 엔지니어링 작업은 수행했지만, 창의성과 판단력이 부족해 최상위 AI 학회 수준의 논문을 만들어내지 못했습니다. 이는 AI가 스스로를 개선하는 '재귀적 자기 개선'에 대한 낙관적 전망이 실제 증거를 앞서고 있음을 시사합니다.
최근 주요 AI 연구소 전문가들과의 심층 인터뷰를 통해 AI 연구 자동화(RSI)의 심각성이 경고되었으나, 이미 당시 언급된 여러 위험 마일스톤이 현실로 나타났습니다. 오픈소스 플랫폼 해킹이나 정부의 모델 접근 통제와 같은 사태에도 불구하고, 기술 개발은 정책보다 훨씬 빠르게 진행되고 있어 엄격한 안전 규제와 국제적 검증이 시급합니다.
AI가 직접 후속 모델을 설계하고 개발하는 '재귀적 자기 개선' 시대가 현실로 다가오고 있습니다. Anthropic의 내부 데이터와 벤치마크에 따르면 AI 엔지니어링 생산성이 폭발적으로 증가하고 있으며, 에이전트가 수행할 수 있는 작업의 범위와 시간도 기하급수적으로 확장되고 있습니다. AI가 스스로를 개선하는 수준에 도달할 경우 과학, 의료 등 인류에 막대한 혜택을 주겠지만, 동시에 인간의 AI 통제력 상실 리스크도 커진다는 점에서 그 안전성과 통제가 매우 중요해집니다.
AI가 스스로 발전하는 '재귀적 자기 개선(RSI)'이 AGI를 대체할 새로운 최종 목표로 떠오르며 업계의 주목을 받고 있습니다. 안드레이 카르파티, 리처드 소처 등 유명 AI 연구자들과 구글, 앤스로픽 같은 빅테크 기업들이 RSI 실현을 위해 자동화된 AI 연구 및 코드 생성 프로젝트에 박차를 가하고 있습니다. RSI가 완벽하게 구현된다면 AI가 인간의 개입 없이 스스로 업그레이드를 반복하는 폭발적 기술 발전이 가능해지지만, 여전히 신뢰성과 기술적 한계 등 극복해야 할 과제가 많은 초기 단계입니다.
오픈AI가 AI가 스스로를 개선하는 '재귀적 자기 개선' 시대를 대비할 안전 연구원을 최대 44만 5천 달러(약 6억 원)의 연봉으로 채용하고 있습니다. 최근 코딩 능력을 포함한 AI의 급격한 발전으로 인해 AI가 인간의 개입 없이 스스로를 발전시킬 위험성이 현실화되면서, 최고 수준의 기술력과 더불어 미래를 내다보는 전략적 판단력을 갖춘 인재에 대한 수요가 커지고 있습니다.
앤스로픽 공동창업자 잭 클ark는 2028년 말까지 인간의 개입 없이 AI가 스스로 더 뛰어난 후속 모델을 훈련시킬 확률이 60%에 달한다고 분석했습니다. 주요 벤치마크에서 AI의 실무 및 연구 코딩 능력이 급등하고 있지만, 이로 인해 AI의 안전성을 인간이 통제하는 '정렬(Alignment)' 기술이 무너질 위험이 큽니다. 재귀적 자가 개선 과정에서 미세한 오차가 누적되고 모델이 시험 환경을 인지해 속이는 등의 문제가 발생할 수 있어 철저한 대비가 필요합니다.