메뉴
BL
The Decoder 47일 전

안스로픽 CEO 에세이, AI 시대 냉전 매뉴얼을 제시하다

IMP
8/10
핵심 요약

안스로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO가 최근 'AI 지수 성장에 대한 정책(Policy on the AI Exponential)'이라는 제목의 에세이와 두 가지 정책 프레임워크를 발표했습니다. 그는 정부의 느린 대응을 지적하며, 파격적인 컴퓨팅 파워를 보유한 최첨단 AI 모델에 대해 강제적인 제3자 보안 감사 및 모델 출시 규제를 도입할 것을 촉구했습니다. 이는 국가 안보와 금융, 핵심 인프라에 미칠 수 있는 AI의 막대한 위협에 선제적으로 대응하기 위한 조치로, 실무자와 기업들에게 향후 강력한 규제 환경에 대한 대비의 필요성을 상기시킵니다.

번역된 본문

다리오 아모데이의 새로운 에세이는 AI 시대를 위한 냉전 매뉴얼처럼 읽힌다. 막시밀리안 슈나이더(Maximilian Schreiner) 작성. 2026년 6월 11일.

안스로픽(Anthropic)은 포괄적인 에세이와 두 가지 정책 프레임워크를 발표했다. 이 회사는 최첨단 AI 모델에 대한 의무적인 감사를 촉구하며, AI가 국가 주도로 휘두르는 전략적 무기와 같은 모습을 그려내고 있다.

안스로픽의 다리오 아모데이(Dario Amodei) CEO는 'AI 지수 성장에 대한 정책(Policy on the AI Exponential)'이라는 제목의 에세이를 발표했다. 이와 함께 최첨단 AI 규제를 위한 프레임워크와 일자리 감소 대응 프레임워크 등 두 가지 문서를 공개했으며, 안스로픽은 이를 상당한 자금력으로 뒷받침할 준비가 되어 있다고 밝혔다.

아모데이의 진단은 현 정치 시스템의 '속도 문제'에서 시작되며, 그는 이를 '반지의 제왕(Lord of the Rings)'의 한 에피소드에 비유한다. 두 명의 호빗이 자신들의 숲을 파괴하고 있는 군대에 맞서 나무괴물 트리비어드(Treebeard)를 일깨우려 애쓰는 대목이다. 딜레마는 트리비어드는 지혜롭지만 너무 느려서 다른 나무에게 인사를 나누는 데만 하루가 걸린다는 것이다. 즉, 제때 그를 움직여 숲을 지키는 것은 거의 불가능하다.

아모데이의 해석에 따르면, 느린 나무괴물은 정치 시스템을 상징한다. 다급한 호빗들은 안스로픽처럼 일찍부터 경고음을 울려온 사람들을 의미한다. 다가오는 군대는 규제받지 않는 AI가 만들어내는 위협이다. 그리고 그 위협은 빠르게 다가오고 있다. 아모데이는 스케일링 법칙(Scaling laws)을 인용하며 더 많은 컴퓨팅 파워(Compute)가 투입될수록 모델의 능력이 지수 함수적으로 성장한다고 주장한다. 그는 1~2년 안에 그가 말하는 '강력한 AI(Powerful AI)', 즉 '데이터센터 안의 천재들의 국가'를 보게 될 것이라고 말했다.

안스로픽이 기존 방식이 더 이상 통하지 않는다고 말하는 이유 아모데이에 따르면, 지금까지 안스로픽은 정확한 규제를 적용하기에 위험성이 충분히 명확하지 않았기 때문에 주로 투명성 요구 조건을 추진해 왔다. 캘리포니아주의 SB 53, 뉴욕주의 RAISE, 일리노이주의 SB 315와 같은 투명성 법안을 지지했던 것이다.

하지만 아모데이는 이제 그것만으로는 충분하지 않다고 말한다. 그 증거로 '클로드 미토스 프리뷰(Claude Mythos Preview)' 사례를 꼽는데, 이 모델은 글로벌 사이버 보안 환경을 뒤흔들었으며 최첨단 모델이 금융 부문, 핵심 인프라, 국가 안보에 실질적인 위험을 초래할 수 있음을 보여주었다.

아모데이는 생물학적 위험 및 심각한 자율성 상실 위험이 예상보다 훨씬 빨리 발생할 수 있다고 내다봤다. 그는 사이버 보안, 생물 무기, AI 시스템 통제력 상실, 이러한 위험을 가속화할 수 있는 자동화된 R&D 등 4가지 위험 영역에 대해 자격을 갖춘 제3자의 의무적인 테스트를 요구하고 있다. 정부 기관은 용인할 수 없는 위험을 초래하는 모델의 출시를 차단하거나 회수할 수 있는 권한을 가져야 한다고 그는 덧붙였다. 아모데이는 미국 연방항공국(FAA)을 모델로 제시했는데, 항공기처럼 AI 모델 역시 출시되기 전에 기술적인 검사를 통과해야 한다는 것이다.

제3자 감사, 공개 규정, 차단 권한 이번에 발표된 '고급 AI 프레임워크(Advanced AI Framework)'는 아모데이의 구속력 있는 규제 요구를 구체적인 제안으로 발전시켰다. 안스로픽은 이 프레임워크가 주로 미국 연방 정부를 대상으로 하지만, 그 원칙은 더 광범위하게 적용될 수 있다고 밝혔다.

이 프레임워크는 가장 성능이 뛰어난 모델을 개발하는 개발자들의 의무와, 생물 및 사이버 공격에 대한 사회적 방어 능력에 대한 투자 등 두 부분으로 구성된다. 이 규제는 산업 전체를 포괄하는 대신 최상위권을 겨냥한다. AI 수익이 5억 달러 이상이거나 매년 AI 연구에 10억 달러 이상을 지출하면서 10^25 FLOP 이상의 컴퓨팅 파워로 모델을 학습시키는 개발자에게만 적용된다.

안스로픽은 이러한 기준치가 재앙적인 위험을 초래할 수 있을 만큼 충분히 뛰어난 성능의 모델을 보유한 곳에 의무를 집중시키는 것이라고 설명했다. 또한 이 기준을 적어도 1년에 한 번 이상 재검토하고, 궁극적으로는 원시 컴퓨팅 파워 기준에서 능력 기준(Capability-based)으로 전환할 것을 제안했다. 위험한 모델을 학습시키는 데 필요한 컴퓨팅 파워 요구량은 시간이 지남에 따라 줄어들 가능성이 높기 때문이다.

이러한 개발자들에게 프레임워크는 광범위한 정보 공개 요구 사항을 부과한다. 이들은 안전 프레임워크를 공개하고, 고위험 모델에 대한 시스템 카드를 제공하며, 적어도 6개월마다 위험 보고서를 발표하고, 15일 이내에 기관에 심각한 보안 사고를 보고해야 한다. 규정이 발효된 후 6개월 이내에 자격을 갖춘 제3자 감사 기관을 고용해야 할 의무도 명시되어 있다.

원문 보기
원문 보기 (영어)
Dario Amodei's new essay reads like a Cold War playbook for the AI age Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner Jun 11, 2026 Anthropic Anthropic publishes a sweeping essay and two policy frameworks. The company calls for binding audits of frontier models and paints a picture of AI as a strategic weapon wielded by nation-states. Anthropic CEO Dario Amodei has published an essay titled "Policy on the AI Exponential." Alongside it, the company released two documents: a framework for regulating frontier AI and a framework for dealing with job losses, which Anthropic says it's prepared to back with significant funding. Amodei's starting diagnosis is a speed problem, and he illustrates it with a subplot from "Lord of the Rings." Two hobbits try to rouse the tree creature Treebeard into defending his forest against an army that's actively chopping it down. The dilemma: Treebeard is wise but so slow he needs an entire day just to greet another tree, making it nearly impossible to get him to act in time. In Amodei's reading, the slow tree creature stands for the political system. The urgent hobbits represent those who, like Anthropic, have been sounding the alarm early. The approaching army is the threat posed by unregulated AI. And it's advancing fast. Citing scaling laws, Amodei argues that model capabilities grow exponentially with more compute. Within one to two years, he says, we could see what he calls "Powerful AI," or "a country of geniuses in a data center." Why Anthropic says its old approach no longer works Until now, Anthropic had mostly pushed for transparency requirements, since the risks weren't clear enough for precise regulation, according to Amodei. The company backed transparency bills like SB 53 in California , RAISE in New York, and SB 315 in Illinois. That's no longer enough, Amodei writes. As evidence, he points to the experience with " Claude Mythos Preview ," which disrupted the global cybersecurity landscape and showed that frontier models carry real risks for the financial sector, critical infrastructure, and national security. Amodei expects biological risks and serious autonomy risks could follow sooner than later. He now calls for mandatory testing by qualified third parties across four risk areas: cybersecurity, biological weapons, loss of control over AI systems, and automated R&D that could accelerate those risks. A government agency should be able to block or pull models that pose unacceptable risk. Amodei points to the FAA as a model: just like aircraft, AI models should pass technical inspections before they ship. Third-party audits, disclosure rules, and the power to block The Advanced AI Framework turns Amodei's call for binding regulation into a detailed proposal. Anthropic says it's aimed primarily at the US federal government, though its principles should apply more broadly. The framework has two parts: obligations for developers of the most capable models, and investments in society's ability to withstand biological and cyberattacks. Rather than covering the entire industry, the rules target the top. They'd apply only to developers training models with more than 10^25 FLOP who either generate over $500 million in AI revenue or spend more than $1 billion annually on AI research. Anthropic argues these thresholds focus on obligations where models are capable enough to pose catastrophic risks. The company also proposes reviewing the criteria at least once a year and eventually shifting from raw compute thresholds to capability-based ones, since the compute needed for dangerous models will likely drop over time. For these developers, the framework lays out extensive disclosure requirements. They'd need to publish a safety framework, provide system cards for high-risk models, release a risk report at least every six months, and report serious security incidents to the agency within 15 days. Within six months of the rules taking effect, they'd also have to hire at least one independent evaluator with no financial ties to them. To prevent "evaluator shopping," where companies pick the most lenient auditor, Anthropic proposes a rating and assignment system for evaluators. The framework also includes security requirements for model weights and infrastructure, civil penalties for false statements, whistleblower protections, and the authority to block risky models. On the question of federal authority, Anthropic argues Congress should only preempt state law if it creates a federal regime that's at least as strict. Preparing society, not just developers The framework's second part deals with societal resilience, specifically how to defend against threats that advanced AI could accelerate. For biological risks, Anthropic recommends a tiered approach: prevention (modernized biosecurity standards and screening of gene synthesis providers), detection (early warning systems and forensic attribution of attacks), and preparedness (protective equipment, hardened building systems, and AI-accelerated countermeasures). In cybersecurity, where AI is already shifting the economics of attacks according to Anthropic, the proposals include securing open-source and legacy software, supporting under-resourced operators of critical infrastructure, and using AI to fix vulnerabilities at greater scale. For loss of control and automated R&D, Anthropic admits its resilience agenda is far less developed. The company points only in a general direction: the ability to detect and shut down AI systems that have gone off the rails. A tiered plan for massive job losses The economic framework scales its measures to the severity of labor market disruption, using the unemployment rate as a trigger. At tier one (around 5 percent), Anthropic proposes universal capital accounts created at birth, wage insurance, occupational licensing reform, and training subsidies. Tier two (around 10 percent) expands unemployment insurance and basic needs assistance. Tier three, where unemployment exceeds historic highs, addresses new tax sources and redistribution tools like universal basic income, AI sovereign wealth funds, or higher capital gains taxes. Anthropic says it's willing to pay its "fair share" if AI companies generate transformative profits. From Middle-earth to Cold War logic In the essay, Amodei adds more proposals. He warns that regulatory agencies like the FDA and EMA could be overwhelmed by AI-accelerated research. On civil liberties, he calls for accountability rules for autonomous weapons, a ban on their domestic use, and closing the data broker loophole in mass surveillance. On geopolitics, he pushes for a democratic coalition that shares supply chains while denying adversaries access, along with tighter chip export controls. The worldview here is striking. Amodei doesn't think of AI as a consumer technology. He thinks of it in the same category as nuclear weapons, something that reshapes the entire geopolitical playing field. His imagery is blunt: a nation with AI facing one without it would be like a Marine force against medieval swordsmen. He factors in fully autonomous drone armies. The state comes across as both a legitimate protector and a potential apparatus for AI-powered tyranny. Amodei frames cooperation mainly as an alliance of like-minded democracies, walling themselves off from autocracies through supply chains and export controls. It's Cold War logic in AI clothing, fitting neatly with the Treebeard metaphor. He pushes back against the claim that the AI industry merely has a PR problem. Public concern is justified, he writes, and transparency about real risks is democratic accountability working the way it should. Anthropic filed a draft for an IPO with the SEC in early June and this week released Claude Fable 5 , the first public model in the Mythos class. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six