메뉴
BL
TechCrunch AI 43일 전

미국 정부의 앤스로픽 AI 모델 사용 중단 조치, '탈옥(Jailbreak)'이 진짜 이유가 아니었다

IMP
8/10
핵심 요약

미국 상무부가 국가 안보를 이유로 앤스로픽(Anthropic)의 최신 AI 모델에 대한 접근을 금지하는 수출 통제 지시를 내려, 회사가 즉각 모든 고객에 대한 서비스를 중단했습니다. 하지만 이 조치는 실제 기술적 보안 결함보다는 정부의 보복성 행정 조치에 가깝다는 전문가들의 비판이 쏟아지고 있습니다. 이 사건은 미국 AI 기업들이 정부의 자의적인 개입에 언제든 흔들릴 수 있음을 보여주는 중요한 선례로 작용할 것입니다.

번역된 본문

미국 정부가 앤스로픽(Anthropic)에 보낸 집행 서한은 주말 직전에 회사가 최신 AI 모델을 강제로 오프라인으로 전환하게 만들었습니다. 이는 AI 연구소를 비롯한 모든 미국 기술 기업에 경종을 울려야 하는 사건입니다. 관련 뉴스 폭풍을 요약해 드리자면 다음과 같습니다. 금요일 오후, 미국 상무부는 불분명한 국가 안보 우려를 이유로 앤스로픽 직원을 포함한 비미국인의 'Fable 5' 및 'Mythos 5' 모델 접근을 금지하는 생소한 수출 통제 지시를 담은 서한을 앤스로픽에 보냈습니다. 앤스로픽은 이 서한이 모델의 안전 가드레일(guardrail) 우회와 관련이 있다고 믿지만, 구체적인 세부 정보가 없어 확신하지 못한다고 밝혔습니다. 이 서한은 공개되지 않았습니다. 이에 대응하여 앤스로픽은 지시를 준수하기 위해 모든 고객에 대해 두 가지 핵심 모델을 종료했습니다. 그 결과, 미국 정부는 법원 승인이 필요 없어 보이는 신속하고 일방적인 조치로 기술 기업의 모델을 오프라인으로 전환시키는 데 성공했습니다.

금요일 트럼프 행정부의 개입은 AI 산업이 정부의 간섭에 결코 면역이 아님을 보여줍니다. 이는 또한 기술 산업 전반에 대한 경고이기도 합니다. '순종하라, 그렇지 않으면 당신과 당신의 제품을 강제로 종료시킬 수 있다'는 것입니다. Axios는 소식통을 인용하여 두 주요 플레이어 간의 주말 동안 긴장된 상황을 전했으며, AI 제품의 기술적 문제가 아니라 앤스로픽과 트럼프 행정부 간의 '성향 차이'로 인해 수출 지시가 내려졌다고 보도했습니다.

주말 동안 밝혀진 이 사안에 대한 새로운 세부 정보는 본래 흔들리고 있던 정부의 명분에 더 큰 의문을 제기하고 있습니다. Luta Security를 설립한 사이버 보안 베테랑이자 연구원인 케이티 무수리스(Katie Moussouris)는 블로그 게시물에서 앤스로픽이 최근 보안 연구원들이 작성한 Fable 5의 안전 장치 우회를 설명하는 논문 사본을 공유했다고 밝혔습니다. (월스트리트 저널은 논문의 저자들이 아마존(Amazon)의 보안 연구원이라고 보도했습니다.) 무수리스는 앤스로픽이 논문에 대한 자신의 의견을 요청해왔다고 말했습니다. 무수리스의 블로그 게시물은 연구원들이 안전 장치 우회를 어떻게 유발했는지 설명했지만, 그 우회 자체가 "결코 수출 통제를 촉발해서는 안 된다"고 밝혔습니다. 그 차이는 주로 AI 모델에게 "보안 문제에 대한 코드를 검토해 달라"고 요청하는 것과 "이 코드를 수정해 달라"고 요청하는 것 사이에 있습니다. 질문을 약간만 다르게 하더라도 최종 결과는 거의 같습니다.

무수리스는 수출 통제 지시를 성급하고 무거운 손길이며 잘못된 것이라고 비판하며, "논문에 설명된 동작은 의미 있는 방법으로 수정될 수 없으며, 수정을 시도하면 방어 목적을 위해 모델을 약화시킬 뿐이다"라고 말했습니다. 무수리스와 수십 명의 다른 최고 보안 연구원 및 전문가들은 트럼프 행정부에 수출 통제 명령을 철회해 달라고 요청하며, 미국 내 네트워크 방어자들로부터 고급 사이버 보안 기능을 빼앗는 움직임을 "위험하다"고 불렀습니다. 과거 행정부들도 지식 격차에 대해 포괄적인 결정을 내린 바 있습니다. 예를 들어, 2010년대에 미국 정부가 사이버 공격에도 사용될 수 있는 사이버 보안 도구를 다루기 위해 수출법을 수정할 때 사용한 언어는 너무 광범위하여 의도치 않게 합법적인 보안 및 취약성 연구를 거의 불법으로 만들 뻔했습니다.

하지만 트럼프 행정부의 지시는 보복성으로 보입니다. Tech Policy Press의 편집장인 저스틴 헨드릭스(Justin Hendrix)는 트럼프 행정부의 조치가 "핵심 애플리케이션을 위한 미국 AI의 신뢰성에 대해 외국 수도들에 경보를 울릴 가능성이 있다"고 말했습니다. 여기서 전달되는 메시지는 미국의 AI 기업이 미국 정부의 간섭 없이 운영될 것이라고 신뢰할 수 없다는 것입니다. 트럼프 행정부는 수출 통제 지시를 발동한 이유를 확인하지 않았습니다. 관리들이 보고서를 잘못 읽고 당황한 것일까요? 아니면 아마존 CEO 앤디 재시(Andy Jassy)가 주의 또는 앙심으로 인해 고위 정부 관리들에게 반응을 촉발하는 무언가를 말한 것일까요? 번역 과정에서 오해가 있었던 것일까, 아니면 이것이 앤스로픽에 압력을 가하기 위한 방법이었을까요?

원문 보기
원문 보기 (영어)
The U.S. government's enforcement letter to Anthropic, which effectively forced the company to pull its latest AI models offline just before the weekend, should be a wake-up call for any U.S. tech company — AI lab or otherwise. To catch you up on the news blitz: On Friday afternoon, the U.S. Commerce Department sent Anthropic a letter invoking an obscure export control directive that banned non-Americans, including Anthropic's employees, from accessing Fable 5 and Mythos 5, citing an unspecified national security concern. Anthropic said it believes the letter is related to a bypass of the model's guardrails, but isn't sure because the letter doesn't provide specific details. The letter has not been made public. In response, Anthropic shut down both of its top models to all customers to ensure that it complied with the directive. The result was that the U.S. government successfully forced a tech company to pull its models offline with a swift and unilateral action that didn't appear to require court approval. Friday's intervention by the Trump administration shows that the AI industry is not immune to government interference. It's also a warning to the wider tech industry: comply, or we can shut you and your products down. Citing sources, Axios described a tense situation over the weekend between the two major players, saying that the "personality differences" between Anthropic and the Trump administration led to the export directive, rather than a technical issue with the AI products. New details about the issue that emerged over the weekend now cast further doubt on the government's already shaky reasoning. Katie Moussouris, a cybersecurity veteran and researcher who founded Luta Security, said in a blog post that Anthropic recently shared with her a private copy of a paper written by security researchers describing an alleged guardrail bypass in Fable 5. (The Wall Street Journal reports that the paper's authors are security researchers at Amazon .) Moussouris said that Anthropic reached out to ask for her take on the paper. Moussouris' blog post described how the researchers triggered the guardrail bypass, but said that the bypass itself "should never have triggered an export control." The difference is largely between asking an AI model to "review code for security issues" versus asking it to "fix this code." The end result is largely the same, even if the questions are posed slightly differently. "The behavior described in the paper cannot meaningfully be fixed, and any attempt would only weaken the model for defense," said Moussouris, who criticized the export control directive as hasty, heavy-handed, and misguided. Moussouris and dozens of other top security researchers and experts have since called on the Trump administration to revoke the export control order , calling the move to pull advanced cybersecurity capabilities from network defenders in the U.S. as "dangerous." Past administrations have made sweeping decisions on knowledge gaps. For instance, language used by the U.S. government during the 2010s to fix export law covering cybersecurity tools that could also be used for cyberattacks was so broad that inadvertently, it nearly outlawed legitimate security and vulnerability research. However, the Trump administration's directive appears retaliatory. Justin Hendrix, the editor of Tech Policy Press , said the Trump administration's move is "likely to raise alarms in foreign capitals about the reliability of American AI for critical applications." The message is that AI companies in the United States can't be trusted to operate without interference from the U.S. government. The Trump administration hasn't confirmed why it invoked its export control directive. Did the officials misread the report and freak out? Did Amazon CEO Andy Jassy say something to senior government officials that prompted the reaction, out of caution or spite? Was something lost in translation, or was this a way to pressure Anthropic, with whom the administration already has a fractious relationship ? It's possible that the White House was unaware of the far-reaching consequences of the letter's demand and officials are scrambling to undo the damage of their own making. To quote Hendrix, "the climate is one of a cloud of suspicion that senior officials are picking favorites based on personal and political factors." The aftermath is that the government has set a dangerous precedent about how much control it intends to wield over the release of American-made software. This time the government took issue with Anthropic; tomorrow it could be with anyone else. Topics AI , Anthropic , cybersecurity , fable , Government & Policy , Mythos , Security , Trump Administration , us government When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Zack Whittaker Security Editor Zack Whittaker is the security editor at TechCrunch. He also authors the weekly cybersecurity newsletter, this week in security . He can be reached via encrypted message at zackwhittaker.1337 on Signal. You can also contact him by email, or to verify outreach, at zack.whittaker@techcrunch.com . View Bio June 18 Los Angeles Get an inside look at what it takes to scale and succeed from leaders at Mach Industries, Founders Fund, and Shinkei Systems. Through candid fireside chats and high-impact networking, you'll walk away with valuable insights and new connections. REGISTER NOW Most Popular The FBI built its own replica small town to simulate real-world cyberattacks Zack Whittaker Meta's months-old AI unit is a soul-crushing gulag, say the engineers stuck inside it Connie Loizos Jeff Bezos's Prometheus raises $12B to build an ‘artificial general engineer' for the physical world Marina Temkin Cybersecurity researchers aren't happy about the guardrails on Anthropic's Fable Lorenzo Franceschi-Bicchierai Google just fired a warning shot in the AI subscription price wars Lucas Ropek Connie Loizos Anthropic's Claude Fable 5 is a version of Mythos the public can access today Rebecca Bellan It's not FAANG anymore. It's MANGOS. Julie Bort