The Decoder • 36일 전

AI 선구자 서튼, 합성 데이터는 '큰 실수'라고 비판

IMP

8/10

핵심 요약

튜링상 수상자이자 강화학습의 창시자로 꼽히는 리처드 서튼(Richard Sutton)은 세계가 무한히 복잡하기 때문에 어떤 시뮬레이션도 현실을 충실히 재현할 수 없으며, 합성 데이터(synthetic data)로 대형 언어모델의 확장 한계를 돌파하려는 접근은 '큰 실수'라고 주장했다. 대신 인간을 개입시키지 않고 에이전트가 직접 경험하며 자신만의 세계 모델을 학습하고 지속적으로 수정하는 방식을 제안했으며, 학습 후 가중치가 고정되는 현재 언어모델의 한계를 지적하고 'Continual Backprop' 등 지속적 학습 방법의 필요성을 강조했다.

번역된 본문

AI 선구자 서튼, 무한히 복잡한 세계 앞에서 합성 데이터를 '큰 실수'라고 말하다

막시밀리안 슈라이너 (2026년 8월 20일)

AI 연구자 리처드 서튼(Richard Sutton)이 주요 AI 연구소들의 핵심 전략에 반박했다. 그에 따르면 합성 데이터(synthetic data)는 대형 언어모델의 확장(scaling) 문제를 해결하지 못하며, 그 이유는 세계의 압도적인 복잡성 때문이다.

튜링상 수상자인 리처드 서튼은 강화학습(reinforcement learning)의 창시자 중 한 명으로 꼽힌다. 그는 이 분야의 표준 교과서를 집필했고, 이후 알파고(AlphaGo) 연구에 참여한 데이비드 실버(David Silver) 등을 지도했으며, 2019년 영향력 있는 에세이 '쓰라린 교훈(The Bitter Lesson)'을 썼다. 이 글에서 서튼은 장기적으로는 검색(search)과 학습(learning)처럼 컴퓨팅과 함께 확장되는 AI 방법만이 승리하며, 인간이 구축해 넣은 지식에 의존하는 방법은 결국 밀려난다고 주장했다.

최근 인터뷰에서 그는 옛 제자 후람 자비드(Khurram Javeed)와 함께 설립한 새 회사 '오크 랩(Oak Lab)'을 소개했다. 두 창업자는 현재 훈련 방법의 한계에 대해서도 이야기했다.

왜 LLM은 '절반의 승리'에 불과한가

서튼에게 대형 언어모델(LLM)은 '쓰라린 교훈'의 좋은 예이자 나쁜 예 둘 다이다. 좋은 예인 이유는 컴퓨팅과 함께 엄청나게 확장되어 인터넷을 그대로 '들이켤' 수 있었기 때문이다. 나쁜 예인 이유는 바로 그 지점에서 벽에 부딪히기 때문이다. 인터넷은 유한하지만, 실제 세계는 '인터넷에 저장된 모든 것보다 훨씬, 훨씬 크다'는 것이다. 서튼에 따르면 바로 그 순간부터 인간의 지식에 지나치게 의존하게 되고, 이것이 궁극적으로 시스템의 발전을 가로막는다.

합성 데이터가 이 병목을 뚫을 수 있느냐는 질문에 서튼은 단호했다. "아니요. 그건 그냥 큰 실수입니다."

세계는 어떤 시뮬레이션으로도 담을 수 없을 만큼 크다

이 논리는 자비드가 정식화하고 앨버타 연구진이 수년간 연구해온 '거대 세계 가설(Big World Hypothesis)'에서 나온다. 핵심 전제는 세계가 무한히 복잡하며, '어떤 마음, 어떤 에이전트보다도 압도적으로 더 복잡하다'는 것이다. 세계의 어떤 시뮬레이션도 결국 미세하고 '현미경 수준'에 불과하다. 작은 프로그램은 잘못된 마찰 계수나 부정확한 로봇 모터 모델처럼 현실과 맞지 않는 작은 세계만 만들어낼 수 있다.

서튼은 또한 세계에는 다른 수많은 에이전트가 존재하며, 그들의 내면은 합성 데이터로 생성할 수 없다고 지적했다. "다른 사람의 마음에 대한 합성 데이터를 만들 방법은 없습니다."

두 번째 반론은 인간이라는 병목이다. 어떤 합성 데이터가 좋고 나쁜지는 누가 판단하는가? 자비드의 주장에 따르면 그러려면 인간 전문가가 필요하다. "이 접근법이 확장하려면 어떤 데이터셋이 좋고 나쁜지 아는 인간 전문가가 필요합니다. 즉, 인간이 병목입니다." 예를 들어 반향정위(echolocation)를 사용해 박쥐처럼 움직이는 드론을 훈련시키고 싶다면, 먼저 해당 분야 전문가를 고용해야 한다. 그러면 이 접근법은 인간 전문성에 의해 제한되며 확장되지 않는다. 시뮬레이션으로 훈련된 자율주행차의 경우도 결국 시뮬레이션과 현실 사이의 간극은 인간이 메운다.

서튼의 대안: 자신의 경험으로부터 학습하기

서튼이 내놓은 해법은 인간을 과정에서 빼고, 에이전트가 자신의 경험으로부터 학습하게 하는 것이다. 에이전트는 인간이 만든 고정된 시뮬레이션 모델에 의존하는 대신, 자신만의 세계 모델을 학습하고 계속 수정해야 한다. "시뮬레이터는 스스로 만드는 겁니다."

서튼은 오늘날의 언어모델이 훈련이 끝나면 학습을 멈춘다는 점도 비판한다. "가중치가 절대 변하지 않죠." 대신 필요한 것은 진정한 지속적 학습(continual learning)인데, 서튼에게 그것은 그냥 학습이다. '모든 학습은 지속적'이며, 기존 지식을 지워버리는 이른바 치명적 망각(catastrophic forgetting) 없이 이루어져야 하기 때문이다. 서튼은 이 문제가 해결 가능하다고 보며, 그의 팀이 네이처(Nature)에 발표한 'Continual Backprop'이라는 방법도 그 수단 중 하나다.

서튼은 언어모델을 '놀라운 과학적 돌파구'라고 평가하지만, 그것은 '지능의 20% 내지 4분의 1' 정도에 불과하다고 말한다.

원문 보기

원문 보기 (영어)

KI-Pioneer Sutton calls synthetic data a "big mistake" in the face of an infinitely complex world Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Aug 20, 2026 Nano Banana Pro prompted by THE DECODER AI researcher Richard Sutton pushes back against a core strategy at the leading AI labs. Synthetic data won't solve the scaling problem for large language models, he says, and blames the sheer complexity of the world. Turing Award winner Richard Sutton is considered one of the founders of reinforcement learning. He wrote the field's standard textbook, mentored researchers like David Silver, who later worked on AlphaGo, and penned the influential 2019 essay "The Bitter Lesson." In it, Sutton argues that over the long run, only the AI methods that scale with compute win out, things like search and learning, not the ones that rely on built-in human knowledge. In a recent conversation, he introduced his new company, Oak Lab, which he founded with his former student Khurram Javeed. He and his cofounder also talked about the limits of current training methods. Why LLMs are only half a win For Sutton, large language models are both a good and a bad example of the Bitter Lesson. Good because they scaled enormously with compute and you could simply "drink in the internet." Bad because they hit a wall at exactly that point. The internet is finite, and the real world is "massively bigger than everything we stored on the internet." At that point, Sutton says, you lean too heavily on human knowledge, and that ultimately holds the systems back. Asked whether synthetic data could break through this bottleneck, Sutton doesn't mince words. "No, that's that's just a big mistake." The reasoning comes from the "Big World Hypothesis" that Javeed formulated and the group in Alberta has been working on for years. The world is too big for any simulation The core assumption is that the world is infinitely complex and "massively more complex than your mind than any agents any agent." Any simulation of it is tiny, "microscopic." A small program can only ever produce a small world that doesn't match reality, with wrong friction values or an inaccurate model of a robot's motor behavior. Sutton also points out that the world contains many other agents whose inner workings simply can't be generated as synthetic data. "There's no way we can have synthetic data for other people's minds." A second objection is the human bottleneck. Who decides which synthetic data is good or bad? By Javeed's argument, that takes human experts. "You need human experts who know what's a good data set and what's a bad data set for that approach to scale. So it is bottlenecked by humans." Say you wanted to train a drone that moves like a bat using echolocation. You'd first have to hire domain experts. That makes the approach limited by human expertise, and it doesn't scale. Even with self-driving cars trained in simulation, humans end up fixing the gap between simulation and reality. Sutton's alternative is learning from your own experience Sutton's fix is to take humans out of the loop and let agents learn from their own experience. An agent should learn its own world model and keep correcting it, instead of relying on a frozen simulation model that humans built. "Simulators they make themselves." Sutton also criticizes the fact that today's language models stop learning after training. "Their weights never change." What's needed instead is real continual learning, which in Sutton's view is just learning, since "all learning is continual," without wiping out old knowledge, the so-called catastrophic forgetting. Sutton thinks this problem can be solved, in part with a method called "Continual Backprop" that his team published in Nature. He calls language models an "amazing scientific breakthrough," but only "like 20% or a quarter of intelligence." AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Full access to every article on THE DECODER No ads Join the comments and community discussions A weekly AI news recap via mail 6x/year: "AI Radar" — deep dives on the AI topics that matter most Daily AI news, always up to date Our full ten-year archive Covered by a team with 10+ years in AI Subscribe to The Decoder -->

리처드 서튼 합성 데이터 강화학습 지속적 학습 대형 언어모델