AI가 스스로 발전하는 '재귀적 자기 개선(RSI)'이 AGI를 대체할 새로운 최종 목표로 떠오르며 업계의 주목을 받고 있습니다. 안드레이 카르파티, 리처드 소처 등 유명 AI 연구자들과 구글, 앤스로픽 같은 빅테크 기업들이 RSI 실현을 위해 자동화된 AI 연구 및 코드 생성 프로젝트에 박차를 가하고 있습니다. RSI가 완벽하게 구현된다면 AI가 인간의 개입 없이 스스로 업그레이드를 반복하는 폭발적 기술 발전이 가능해지지만, 여전히 신뢰성과 기술적 한계 등 극복해야 할 과제가 많은 초기 단계입니다.
번역된 본문
"재귀(Recursion)"라는 단어는 AI 업계에서 가장 뜨거운 최신 유행어가 되었습니다. 두 개의 개별 스타트업이 이름으로 이 단어를 채택했으며, 더 많은 기업들이 자사의 로드맵에서 재귀적 자기 개선(RSI, Recursive Self-Improvement)을 언급하기 시작했습니다. 이전의 AGI(범용 인공지능)처럼, RSI는 그 정확한 의미에 대해서는 여전히 이견이 남아있지만, AI가 혁신적으로 도약할 폭발적 전환점을 의미하는 세 글자 약자가 되었습니다.
기본적으로 RSI는 지속적으로 스스로를 업그레이드할 수 있는 AI 시스템을 의미합니다. AI 시스템이 인간보다 업그레이드 주기를 더 잘 관리할 수 있게 되면, 그 과정은 접근할 수 있는 컴퓨팅 파워에 의해서만 제한되는 폐쇄 루프(Closed loop)가 될 수 있으며, 이때부터는 인간의 개입이 더 이상 필요하지 않거나 오히려 방해가 될 수도 있습니다. 두렵든 그렇지 않든, 이는 수많은 AI 연구소들이 열렬히 좇고 있는 비전입니다.
이달 초, 잘 알려진 AI 연구자인 리처드 소처(Richard Socher)는 RSI를 명시적인 목표로 삼아 이름도 잘 어울리는 '재귀적 초지능(Recursive Superintelligence)'이라는 회사를 설립했습니다. 소처는 출범 당시 TechCrunch와의 인터뷰에서 "우리의 주요 초점은 대규모로 진정으로 재귀적이고 자기 개선하는 초지능을 구축하는 것"이라며, "이는 연구 아이디어의 구상, 구현, 검증이라는 전체 과정이 자동화되는 것을 의미한다"고 밝혔습니다.
다른 수많은 저명한 연구자들도 재귀적 자기 개선을 가능하게 할 돌파구를 기대하며 동일한 목표를 쫓고 있습니다. 그중 가장 주목받는 인물은 테슬라와 오픈AI 출신의 전설적인 인물인 알렉스 카르파티(Alex Karpathy)입니다. 그는 '오토 리서치(Auto-Research)'라는 프로젝트를 위해 에이전트 무리(Agent swarms)를 활용해 간단한 작업으로 대형 언어 모델(LLM)을 훈련시키고 있습니다. 카르파티는 이 프로젝트에 대해 비정상적으로 공개적인 태도를 취하며, 마일스톤에 대해 정기적으로 트윗하고 퍼블릭 GitHub 저장소를 통해 빌딩 블록을 공개하고 있습니다. 지금까지 이 작업은 주로 GPT-2 규모 모델에 대한 사소한 개선에 국한되었습니다. 카르파티도 3월에 "아직은 새롭고 획기적인 '연구'는 아니다"라고 인정했지만, 이는 수많은 다른 연구자들이 RSI라는 꿈을 좇도록 설득하기에 충분했습니다. 최근 앤스로픽(Anthropic)에서 사전 훈련(Pre-training) 업무를 맡게 된 카르파티는 이 아이디어를 더 큰 규모로 적용할 수많은 기회를 얻게 되었습니다.
콰히어(Cohere)와 구글 출신인 사라 후커(Sara Hooker)가 설립한 어댑션(Adaption)도 최첨단 학습을 자동화하기 위해 '오토 사이언티스트(AutoScientist)'라는 유사한 도구를 최근 출시했습니다. 카르파티의 오토 리서치처럼 이 시스템은 에이전트를 훈련시켜 점진적인 개선을 이끌어내지만, 어댑션의 목표는 완전한 규모의 최첨단(Frontier) 모델을 더 쉽게 훈련시키는 것입니다. 만약 이 연구자들이 AI 발전의 최전선을 더욱 앞으로 밀어붙이기 시작한다면, 그 시스템은 RSI와 매우 흡사한 무언가로 빠르게 발전할 수 있습니다.
디스어레이(Disarray)의 창립자 도리스 신(Doris Xin)은 자체 훈련된 머신러닝 에이전트가 최근 캐글(Kaggle) 대회에서 28개의 메달을 휩쓸며 인간이 훈련한 수많은 에이전트를 물리치면서 RSI 분야에서 더욱 구체적인 관심을 끌었습니다. 그녀가 보기에 가장 큰 과제는 '신뢰성'입니다. 신은 필자와의 인터뷰에서 "무한한 컴퓨팅 파워와 무한한 시간이 주어진다면 우리는 이미 목표에 도달한 것이나 다름없다"고 주장했습니다. 또한 "이것은 정말로 창의적인 작업이라고 할 수 없다. 그저 엄청나게 기초적이고 실용적인 엔지니어링(Meat-and-potatoes engineering)의 문제일 뿐이다"라고 덧붙였습니다.
아직 갈 길이 멀다
AI 업계가 어떤 의미 있는 방식으로든 재귀적 시스템에 근접하지 못했다는 증거도 많으며, 업계는 여전히 경계하는 대중에게 자신들의 발전 상황을 어떻게 설명할지 고군분투하고 있습니다. 구글의 순다르 피차이(Sundar Pichai) CEO는 최근 팟캐스트 인터뷰에서 이를 사실상 인정했습니다. 피차이는 "기술의 발전은 연속적이며, 우리 모두는 확실히 발전하고 있다"면서도 "사람들이 RSI를 묘사하는 방식을 보면, 그것은 다음 단계의 가속화를 의미할 것이고 수많은 시사하는 바가 있겠지만, 우리는 아직 그곳에 도달하지 못했다"고 말했습니다.
하지만 그 연속적인 발전 과정에는 수많은 자기 개선형 AI 시스템들이 이미 포함되어 있습니다. 지난 1월, 앤스로픽의 '클로드 코드(Claude Code)' 수석 프로그래머 중 한 명은 자신의 팀이 작성한 코드의 "거의 100%"가 해당 도구에 의해 작성되었다고 추정했습니다. 이는 클로드 코드가 문자 그대로 스스로의 코드를 작성하고 있다는 솔직한 고백입니다. 엔지니어들이 AI 도구를 사용한다고 해서 그 도구가 그들을 완전히 대체할 수 있다는 의미는 아니지만, 앤스로픽은 엔지니어를 대체하는 단계에도 점차 다가서고 있는 것으로 보입니다. 최근 '미토스(Mythos)' 프리뷰와 관련된 설문조사에서, 앤스로픽 엔지니어 18명 중 5명은 적절한 인프라 활용이 가능해진다면 AI가 자신들의 역할을 대체할 수 있을 것이라고 믿는 것으로 나타났습니다.
The word “recursion” is the latest buzzword in AI circles. Two separate startups have taken on the name, and many more have started referencing Recursive self-improvement (RSI) in their roadmaps. Like AGI before it, RSI has become a three-letter byword for a cataclysmic AI takeoff – even if there’s still a little disagreement about exactly what it means. In basic terms, RSI refers to an AI system that can continuously upgrade itself. Once AI systems can manage the upgrade cycle better than humans, the process can become a closed loop, limited only by the compute power they can access, and humans no longer necessary or even helpful. Scary or not, that’s a vision that a lot of AI labs are eager to chase. Earlier this month, well-known AI researcher, Richard Socher, launched the aptly named Recursive Superintelligence launched with RSI as an explicit goal. “Our main focus is to build truly recursive, self-improving superintelligence at scale,” Socher told TechCrunch at launch , “which means that the entire process of ideation, implementation, and validation of research ideas would be automatic.” A number of other prominent researchers are already chasing that same goal, hoping for a breakthrough that will make recursive self-improvement possible. One of the most prominent is Alex Karpathy, a legendary figure from Tesla and OpenAI, who is using agent swarms to train LLMs on simple tasks for a project he calls Auto-Research . Karpathy has been unusually open about the project, tweeting about milestones regularly and making the building blocks available through a public GitHub repo. So far, the work has mostly been confined to making minor improvements on a GPT-2 scale model – as Karpathy noted in March, “It's not novel, ground-breaking ‘research’ (yet)” – but it’s been enough to convince lots of other researchers to follow the RSI dream. And with Karpathy now working on pre-training at Anthropic , he will have plenty of opportunity to apply the idea at a larger scale. Adaption – founded by Cohere and Google alum Sara Hooker – recently launched a similar tool called AutoScientist in an effort to automate frontier training. Like Karpathy’s auto-researchers, the system trains agents to make incremental improvements – but for Adaption, the goal is to make it easier to train a full-scale frontier model. If those same researchers start to push the frontier forward, the system could quickly spiral into something very much like RSI. Disarray founder Doris Xin drew more specific RSI interest when her self-trained machine learning agent took home 28 medals in a recent Kaggle competition , beating out many human-trained agents. As she sees it, the major challenge is reliability. “I would argue, given infinite compute and infinite time horizon, we are already there,” Xin told me. “I want to make an argument that this is not a creative endeavor, really. It’s just a lot of meat-and-potatoes engineering.” Not there yet There’s also plenty of evidence that the AI industry isn’t very close to recursive systems in any meaningful way — and is still grappling with talking to a wary public about its progress. So Google CEO Sundar Pichai basically admitted in a recent podcast interview . “It’s a continuum, and we are all definitely making progress,” Pichai said. “But in the way people describe R.S.I., that would represent a next level of acceleration and would have a lot of implications, but we aren’t quite there yet.” But the continuum includes an awful lot of self-improving AI systems. In January, one of Anthropic’s lead programmers for Claude Code estimated that “close to 100%” of his team’s code was written by the tool – a frank admission that Claude Code was literally writing itself. Just because engineers are using an AI tool doesn’t mean the tool can replace them – but Anthropic seems to be getting close to replacing engineers too. In a recent survey tied to the Mythos preview , five out of 18 Anthropic engineers believed that, with harness improvements, this version of Mythos could soon substitute for an L4 engineer – a mid-level programmer who can take on involved projects without supervision. Still, there were some of the same weaknesses you might expect. “Some of Claude’s major reported weaknesses compared to an L4 include: self-managing week-long ambiguous tasks, understanding org priorities, taste, verification, instruction-following, and epistemics,” the report reads. In other words, its weaknesses are everything involved with self-direction, which is the cornerstone for RSI. But sure, for everything else, Claude is ready to step right in. Just like the AGI term before it, the AI industry also can’t tell us how far away it is from showcasing a meaningful recursive system. When Georgetown’s Center for Security and Emerging Technology assembled a group of experts to study RSI last year, the group found a major split in assessments – some expecting an imminent “superintelligence” style explosion while others expected slower progress and an eventual plateau. But all agreed that recursion made the future especially difficult to predict. Helen Toner, director of CSET and a former board member at OpenAI, told TechCrunch that simply using AI tools to do AI research isn’t enough to qualify as RSI. “They're just using AI for as much as they can,” Toner tells TechCrunch. “And I think that is different from the classic definition of RSI, which is really that there are no humans needed.” Toner points to a recent post by METR’s Ayeja Cotra , which distinguishes different milestones on the path to the AI research takeover. One step, which Cotra calls “adequacy,” would come when the system can still perform research after all humans are removed – even if the resulting research isn’t as valuable or efficient. “Parity” comes when an AI-only system is as good at research as a human-only system. “Supremacy,” the final stage, comes when an AI-only system outperforms a collaborative system between humans and AI. Ultimately, Cotra concludes that AI is very close to the adequacy threshold of being able to produce some work on its own – similar to the incremental changes made by Karpathy’s Auto-Research system. “I wouldn’t be totally shocked if you told me this milestone had already passed, and I expect it to happen in the next couple years,” Cotra writes. She’s less clear on when parity will come, but once it does, she thinks it would “massively accelerate the pace of AI progress, leading to AI research supremacy within another year.” Bumps in the road With so much of AI built on scaling laws, there’s a strong tendency to think RSI will follow the same curve. Toner thinks that many of those pursuing AI research and development via RSI “ think of it as a pretty smooth ladder, where you can just keep scaling up.” But even if AI researchers are able to make incremental improvements like Karpathy’s auto-researchers, there will be larger challenges in handing off the whole process of research. Toner puts it in terms of the history of computing, which sees human beings handing off more and more of the process while still directing things from the top. “We went from machine languages to assembly language and compiled languages; you’re getting further and further from the guts of the computer,” Toner says. “But the human is still, in some intuitive sense, running the show.” Moving beyond that paradigm will take significant challenges, both in engineering and alignment. But even with the massive investments happening, there’s no infinite compute available – and the basic tradeoff between human labor and machine intelligence will be hard to overcome. As for a total recursive AI system of apocalyptic visions? The only thing researchers essentially agree on is that, like AGI, it’s not here yet. Topics Adaption , AGI , AI , Alex Karpathy , artificial intelligence , neolab , RSI When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial indep