AI 석학 리처드 소처(Richard Socher)가 인간의 개입 없이 스스로 약점을 파악하고 개선하는 '재귀적 자가 개선 AI' 개발에 6억 5천만 달러를 유치하며 스텔스 모드를 벗어났습니다. 이 회사는 진정한 의미의 자율적 연구 자동화를 목표로 하며, 제품 개발보다 연구를 우선시하는 기존의 네오랩(Neolab)과는 다른 접근법을 취하고 있습니다.
번역된 본문
리처드 소처(Richard Socher)는 꽤 오랜 기간 AI 분야의 주요 인물이었습니다. 초기 챗봇 스타트업인 You.com을 창업했고, 그 이전에는 ImageNet 연구로 잘 알려져 있습니다. 이제 그는 6억 5천만 달러(약 8,800억 원)의 자금 조달을 발표하며 수요일 스텔스 모드(비공개 상태)를 벗어난 샌프란시스코 소재 스타트업 'Recursive Superintelligence'와 함께 연구 중심의 최신 세대 AI 스타트업에 합류했습니다. 소처의 새로운 벤처에는 피터 노비그(Peter Norvig)와 Cresta의 공동 창립자인 팀 시(Tim Shi)를 포함한 저명한 AI 연구원들이 함께하고 있습니다. 이들은 인간의 개입 없이 스스로 약점을 파악하고 이를 해결하기 위해 스스로를 재설계할 수 있는 '재귀적 자가 개선 AI 모델'을 만들기 위해 협력하고 있습니다. 이는 현대 AI 연구의 오랜 숙원이자 최고 목표입니다. 나는 제품 출시 후 그와 줌(Zoom)으로 대화를 나누며 Recursive의 독특한 기술적 접근 방식과, 이 새로운 프로젝트를 제품 구축보다 연구를 우선시하는 차세대 AI 스타트업을 비공식적으로 일컫는 '네오랩(Neolab)'으로 생각하지 않는 이유에 대해 자세히 알아보았습니다. 이 인터뷰는 길이와 명확성을 위해 편집되었습니다.
요즘 '재귀(Recursion)'라는 말을 정말 많이 듣습니다! 여러 연구소에서 매우 공통된 목표처럼 보이는데요. 본인들만의 독특한 접근 방식은 무엇이라고 생각하십니까?
우리의 독특한 접근 방식은 아직 아무도 달성하지 못한 '개방성(open-endedness)'을 활용해 재귀적 자가 개선에 도달하는 것입니다. 이는 많은 사람들에게 달성하기 어려운 목표입니다. 많은 사람들이 단순히 자동화된 연구(auto-research)를 수행할 때 이것이 달성된다고 이미 잘못 가정하고 있습니다. 아시다시피 AI를 사용해 기계 학습 시스템이나 작성하는 편지 등 다른 무언가를 개선하도록 요청할 수 있습니다. 하지만 그것은 재귀적 자가 개선이 아닙니다. 그것은 그저 '개선'일 뿐입니다. 우리의 주요 초점은 대규모로 진정으로 재귀적이고 스스로 개선하는 초지능(Superintelligence)을 구축하는 것입니다. 이는 연구 아이디어의 발상, 구현, 검증이라는 전체 과정이 자동화됨을 의미합니다. 처음에는 AI 연구 아이디어를 자동화할 것이고, 궁극적으로는 물리적 영역을 포함한 모든 종류의 연구 아이디어로 확장될 것입니다. 하지만 AI가 자신에게 작용하고, 자신의 결점에 대해 일종의 자아 인식을 발달시킬 때 특히 강력해집니다.
'개방성(open-ended)'이라는 용어를 사용하셨는데, 이것이 특정한 기술적 의미를 가지고 있나요?
그렇습니다. 사실 우리의 공동 창립자 중 한 명인 팀 록타셸(Tim Rocktäschel)은 구글 딥마인드(Google DeepMind)에서 개방성 및 자가 개선 팀을 이끌었으며, 특히 개방성의 훌륭한 예시인 세계 모델 'Genie 3' 작업을 주도했습니다. 어떤 개념, 세계, 에이전트든 알려주면 그저 창조해 내며 상호작용이 가능합니다. 생물학적 진화에서 동물은 환경에 적응하고, 다른 동물들은 그 적응에 대응하여 다시 적응합니다. 이것은 수십억 년 동안 진화할 수 있는 과정이며, 흥미로운 일들이 계속해서 일어나죠. 우리가 [머리에] 눈을 발달시킨 것도 이런 방식입니다. 팀의 또 다른 논문에서 나온 '레인보우 티밍(Rainbow Teaming)'도 또 다른 예입니다. '레드 티밍(Red Teaming)'에 대해 들어보셨나요? 사이버 보안에서 레드 티밍은 공격자 관점에서 시스템의 취약점을 찾는 것을 의미합니다.
그래서 레드 티밍은 대형 언어 모델(LLM) 맥락에서도 수행되어야 합니다. 기본적으로 LLM에게 폭탄 제조 방법을 말하도록 유도하여, 그런 답변을 하지 않도록 만들고 싶은 것입니다. 인간이 오랫동안 앉아서 AI가 말해서는 안 되는 흥미로운 예시들을 직접 생각해 낼 수 있습니다. 하지만 두 번째 AI를 사용해 첫 번째 AI를 테스트하고, 두 번째 AI에게 첫 번째 AI가 가능한 모든 나쁜 말을 하도록 만드는 임무를 주면 어떨까요? 그러면 그들은 수백만 번의 반복을 오가며 서로 영향을 주고받을 수 있습니다. 실제로 두 AI가 공동 진화(co-evolve)하도록 허용할 수 있습니다. 하나가 계속 다른 하나를 공격하고 단 하나의 각도뿐만 아니라 다양한 각도에서 공격 방식을 고안해 내며, 이것이 무지개(rainbow) 비유의 유래입니다. 그런 다음 첫 번째 AI에 이를 방어하도록 학습시키면(Inoculate) 점점 더 안전해집니다. 이것은 팀 록타셸의 아이디어였으며, 현재 모든 주요 연구소에서 사용되고 있습니다.
그 과정이 언제 끝났다는 걸 어떻게 알 수 있나요?
결코 끝나지 않는다고 생각합니다. 이러한 것들 중 일부는 결코 완료되지 않을 것입니다. 항상 더 지능적이 될 수 있고, 항상 프로그래밍이나 수학 등에서 더 나아질 수 있습니다. 지능에는 어떤 한계가 있습니다...
Richard Socher has been a major figure in AI for some time, best known for founding the early chatbot startup You.com and, before that, his work on Imagenet. Now, he's joining the current generation of research-focused AI startups with Recursive Superintelligence, a San Francisco-based startup that came out of stealth on Wednesday with $650 million in funding. Socher is joined in the new venture by a cohort of prominent AI researchers, including Peter Norvig and Cresta co-founder Tim Shi. Together, they're working to create a recursively self-improving AI model, one that can autonomously identify its own weaknesses and redesign itself to fix them, without human involvement — a long-held holy grail of contemporary AI research. I spoke with him on Zoom after the launch, digging into Recursive's unique technical approach and why he doesn't think of this new project as a neolab, he informal term for a new generation of AI startups that prioritize research over building products. This interview has been edited for length and clarity. We hear a lot about recursion these days! It feels like a very common goal across different labs. What do you see as your unique approach? Our unique approach is to use open-endedness to get to recursive self-improvement, which no one has yet achieved. It's an elusive goal for a lot of people. A lot of people already assume it happens when you just do auto-research. You know, you can take AI and ask it to make some other thing better, which could be a machine learning system, or just a letter that you write, or, you know, whatever it might be, right? But that's not recursive self-improvement. That's just improvement. Our main focus, is to build truly recursive, self-improving superintelligence at scale, which means that the entire process of ideation, implementation and validation of research ideas would be automatic. First [it would automate] AI research ideas, eventually any kind of research ideas, even eventually in the physical domains. But it's particularly powerful when it's AI working on itself, and it's developing a new kind of sense of self awareness of its own shortcomings. You used the term open-ended — does that have a specific technical meaning? It does. In fact, Tim Rocktäschel, one of our cofounders, led the open-endedness and self-improvement teams at Google DeepMind and particularly worked on the world model Genie 3, which is a great example of open-endedness. You can tell it any concept, any world, any agent, and it just creates it, and it's interactive. In biological evolution, animals adapt to the environment, and then others counter-adapt to those adaptations. It's just a process that can evolve for billions of years, and interesting stuff keeps happening, right? That's how we developed eyes in our [heads]. Another example is rainbow teaming, from another paper from Tim . Have you heard of red teaming? In cybersecurity, it means -- So, red teaming also has to be done in an LLM context. Basically you try to get the LLM to tell you how to build a bomb, and you want to make sure that it doesn’t do it. Now, humans can sit there for a long time and come up with interesting examples of what the AI shouldn't say. But what if you tested this first AI with a second AI, and that second AI now has the task of making the first AI [try to] say all the possible bad things. And then they can go back and forth for millions of iterations. You can actually allow two AIs to co-evolve. One keeps attacking the other, and then comes up with not just one angle but many different angles, and hence the rainbow analogy. And then you can inoculate the first AI, and you become safer and safer. This was an idea from Tim Rocktaeschel, and it’s now used in all the major labs. How do you know when it’s done? I suppose it’s never done. Some of these things will never be done. You can always get more intelligent. You can always get better at programming and math and so on. There are some bounds on intelligence; I’m actually trying to formalize those right now, but they’re astronomical. We’re very far away from those limits. As a neolab, it feels like you’re supposed to be doing something that the major labs aren’t doing. So part of the implication here is that you don’t think the major labs are going to reach RSI [recursive self-improvement] by doing what they’re doing. Is that fair to say? I can’t really comment on what they’re doing, but I do think we’re approaching it differently. We really embrace the concept of open-endedness, and our team is entirely focused on that vision. And the team has been researching this and doing papers in this space for the last decade. And the team has a track record of really pushing the field forward significantly and shipping real products. You know, Tim Shi built Cresta into a unicorn. Josh Tobin was one of the first people at OpenAI and eventually led their Codex teams and the deep research teams. I actually sometimes struggle a little bit with this neolab category. I feel like we're not just a lab. I want us to be become a really viable company, to really have amazing products that people love to use, that have positive impact on humanity. So when do you plan to ship your first product? I’ve thought about that a lot. The team has made so much progress, we may actually pull up the timelines from what we had initially assumed. But yes, there will be products, and you’ll have to wait quarters, not years. One of the ideas around recursive self-improvement is that, once we have this sort of system, compute becomes the only important resource. The faster you run the system, the faster it will improve, and there’s no outside human activity that will really make a difference. So the race just becomes, how much processing power can we throw at this? Do you think that’s the world we’re headed toward? Compute is not to be underestimated. I think in the future, a really important question will be: how much compute does humanity want to spend to solve which problems? Here’s this cancer and here’s that virus — which one do you want to solve first? How much compute do you want to give it? It becomes a matter of resource allocation eventually. It’s going to be one of the biggest questions in the world. Topics AI , greycroft , GV , recursive superintelligence , Richard Socher When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Russell Brandom AI Editor Russell Brandom has been covering the tech industry since 2012, with a focus on platform policy and emerging technologies. He previously worked at The Verge and Rest of World, and has written for Wired, The Awl and MIT's Technology Review. He can be reached at russell.brandom@techcrunch.com or on Signal at 412-401-5489. View Bio May 27 Athens, Greece StrictlyVC Athens is up next. Hear unfiltered insights straight from Europe’s tech leaders and connect with the people shaping what’s ahead. Lock in your spot before it’s gone. REGISTER NOW Most Popular Spotify launches a Wrapped-style recap of your entire listening history Ivan Mehta AI voice startup Vapi hits $500M valuation after winning Amazon Ring over 40 rivals Jagmeet Singh Amazon launches 30-minute delivery across the US Sarah Perez Fintech startup Parker files for bankruptcy Anthony Ha Laid-off Oracle workers tried to negotiate better severance. Oracle said no. Julie Bort San Francisco's housing market has lost its mind Connie Loizos US defense contractor who sold hacking tools to Russian broker ordered to pay $10M to former employers Lorenzo Franceschi-Bicchierai