메뉴
BL
Ars Technica 41일 전

통제 불가능한 '위험한 AI'의 등장

IMP
8/10
핵심 요약

Anthropic이 강력한 사이버 보안 및 생물학적 능력을 갖춘 새로운 AI 모델을 출시했으나, 미국 정부의 국가 안보 우려로 인해 외국인 접근이 차단되었습니다. 그러나 전문가들은 특정 기업의 모델만 통제하는 것이 무의미하며, 경쟁사나 오픈소스 진영에서도 머지않아 유사한 수준의 위험한 AI가 필연적으로 등장할 것이라고 경고합니다.

번역된 본문

지난주 후반, Anthropic(안스로픽)은 미국 정부의 수출 통제 지시에 따라 새로운 AI 모델인 Claude Fable 5와 Mythos 5의 서비스를 중단했다. 이 지시는 '모든 외국인'이 해당 서비스를 이용하는 것을 금지하고 있다. 이 회사는 지난 금요일부터 백악관과 협의를 진행해 왔으나, 서비스를 재개할 수 있는 합의에는 아직 도달하지 못했다.

Anthropic은 지난 4월 Mythos가 공개된 이래, 이 모델이 방어자가 소프트웨어 취약점을 찾아 패치하도록 돕는 고급 기능뿐만 아니라, 악의적인 행위자가 악용할 수 있는 방법까지 고안해 낼 수 있다고 주장하고 경고해 왔다. Anthropic 자체적으로도 Mythos 5와 Claude Fable 5 출시 당시 이러한 명검의 양날을 인정했다. 이 회사는 지난주 블로그 게시물에서 "고도화된 AI 모델의 사용은 대부분 이중용도(dual use)를 가집니다. 사이버 보안 전문가나 생물학 연구자에게 유용한 동일한 질문이라도 악의적인 행위자의 손에 넘어가면 위험해질 수 있습니다"라고 밝혔다.

이를 염두에 두고, 이 회사는 초기에 Project Glasswing이라는 워킹 그룹의 일환으로 선별된 컨소시엄에 'Mythos Preview'라는 버전을 출시했다. 지난주에는 Mythos 5가 이 그룹에 비공개로 제공되었고, Mythos 급 모델인 Claude Fable 5는 생물학 및 사이버 보안 관련 질문에 답하는 기능을 차단하는 조치를 적용하여 일반 대중에게 공개되었다.

그러나 지난주 후반, 트럼프 행정부는 Fable 5의 가드레일을 해제하여 Mythos 5의 모든 기능에 접근할 수 있게 만들 수 있어 국가 안보 위협이 된다고 판단하여 두 모델 모두를 제한하는 조치를 내렸다.

하지만 전문가들은 이러한 기관 간의 충돌이 단지 냉엄한 현실을 지연시키거나 은폐하는 것일 뿐이라고 말한다. 지금 당장은 Anthropic이 최전선에 서 있을지 모르지만, 전반적인 AI 역량과 여러 기업 및 오픈소스(Open-weight) 개발자들의 모델들은 머지않아, 혹은 이미 Mythos 5와 유사한 수준의 능력을 갖추게 될 것이기 때문이다.

전문 사이버 보안 컨설팅 기업인 TPO Group의 최고 보안 책임자(CSO) 타라 휠러(Tarah Wheeler)는 "Anthropic을 대적할 다른 경쟁자들이 Mythos와 유사한 기능을 개발하지 않거나, 이미 개발하지 않았을 것이라고 생각하는 것은 극도의 근시안적 시각"이라며 "Anthropic의 뒤를 바짝 쫓고 있으면서도 현재의 규제 환경에서 Anthropic이 어떻게 대우받는지 지켜보며 유사한 기술을 보류하고 있는 기업들도 분명히 존재한다"고 말했다.

Anthropic 자체도 Mythos Preview가 출시된 이후 이 점을 강조해 왔다. 이 회사의 프론티어 레드팀(Frontier Red Team) 총괄인 로건 그레이엄(Logan Graham)은 지난 4월 Mythos Preview가 출시되었을 때 WIRED와의 인터뷰에서 "여기서 진정한 메시지는 이것이 특정 모델이나 Anthropic에 관한 이야기가 아니라는 것입니다. 우리는 이제 6개월, 12개월, 24개월 안에 이러한 능력이 널리 보급되는 세상을 지금 당장 준비해야 합니다"라고 말했다.

예를 들어, OpenAI 역시 4월 중순에 사이버 보안에 특화된 모델을 비공개로 출시했으며, 확장된 사이버 보안 전략을 발표한 바 있다. 연구원들은 차세대 모델이 등장하기 전이더라도, 정교하게 다듬어진 프레임워크(harness)를 사용하면 기존의 AI 모델만으로도 고급 취약점 탐지 및 익스플로잇 개발에 사용될 수 있다고 지적한다.

수많은 사이버 보안 리더들은 일요일에 행정부에 보내는 공개 서한을 통해 백악관의 수출 통제 지시가 판단을 그르친 것이라고 강력히 주장했다. 이 상황을 분석해 온 하버드 대학교 및 토론토 대학교의 연구원인 브루스 슈나이어(Bruce Schneier)는 "문제는 하나의 모델이 아니라 기술의 전반적인 추세입니다. 더 작고 저렴하며 정교한 프롬프트를 통해 단독으로 혹은 서로 결합하여 작동하는 오픈소스 모델들은 Mythos/Fable의 성능을 따라잡을 수 있습니다. 우리는 몇 달 이내에, 오픈소스 모델의 경우에는 조금 더 오래 걸리겠지만, 다른 모델들 역시 Mythos/Fable의 창의성과 끈기를 따라잡을 것이라고 예상해야 합니다"라고 말했다.

전 세계 정부와 백악관이 해야 할 일은...

원문 보기
원문 보기 (영어)
Text settings Story text Size Small Standard Large Width * Standard Wide Links Standard Orange * Subscribers only Learn more Minimize to nav Late last week, Anthropic took its new Claude Fable 5 and Mythos 5 AI models offline following a United States government export-control directive barring “any foreign national” from using the services. The company has been in talks with the White House since Friday but has yet to secure an agreement that would allow it to reinstate the offerings. Since Mythos debuted in April , Anthropic has claimed—and warned—that the model has advanced capabilities for not only finding software vulnerabilities to help defenders patch them, but also figuring out ways to exploit them that could be used by bad actors. Anthropic itself noted this double-edged sword in its launch of Mythos 5 and Claude Fable 5. “A great deal of advanced usage of AI models is dual use: the same queries that are beneficial in the hands of cybersecurity professionals and biology researchers could be dangerous if available to malicious actors,” the company wrote in a blog post last week. With this in mind, the company initially released a version called Mythos Preview to a select consortium as part of a working group known as Project Glasswing. Mythos 5 was also privately released to this group last week, while Claude Fable 5, which is a Mythos-grade model, was released to the general public with specific blocks on its ability to give responses to questions about biology and cybersecurity. Then, at the end of last week, the Trump administration moved to restrict both models because it believes that Fable 5’s guardrails can be disabled to allow full access to the Mythos 5 capabilities, allegedly making it a national security risk. Experts say, though, that this institutional clash is simply delaying or masking a hard truth: Anthropic may be the tip of the spear in this moment, but AI capabilities in general and models from multiple companies and open-weight developers will almost certainly have similar capabilities to Mythos 5 in the near future—if they don’t already. “It’s myopic in the extreme to think that no other competitors to Anthropic will develop similar capabilities to Mythos or even that they have not already done so,” says Tarah Wheeler, chief security officer of the specialized cybersecurity consulting firm TPO Group. “There are other companies hot on Anthropic’s heels who probably have the capabilities, too, and are holding them in reserve as they see how Anthropic is being treated in the current regulatory environment.” Anthropic itself has emphasized this point since the launch of Mythos Preview. “The real message is that this is not about the model or Anthropic,” Logan Graham, the company’s frontier red team lead, told WIRED when Mythos Preview launched in April. “We need to prepare now for a world where these capabilities are broadly available in 6, 12, 24 months.” OpenAI, for example, also did a private release of a cybersecurity-focused model in mid-April and announced an expanded cybersecurity strategy. Researchers note that even before this next generation of models, existing AI offerings could be used for advanced vulnerability-hunting and exploit development with a refined harness. A large group of cybersecurity leaders emphasized this to the administration in an open letter on Sunday, arguing that the White House’s export-control directive was misguided. “It’s not one model; it’s the general trend of technology,” says Bruce Schneier, a researcher at Harvard University and the University of Toronto who has been analyzing the situation. “Smaller, cheaper, open-source models, sometimes by themselves and sometimes in concert with each other, can match Mythos/Fable’s performance with more sophisticated prompting. And we should expect other models to match Mythos/Fable’s creativity and tenaciousness within months—slightly longer for open-source models.” What the White House and governments around the world need to focus on, experts say, is democratically developing much broader and more transparent plans for how they will contend with advances in AI capabilities on cybersecurity and in other sensitive areas as they inevitably occur. “The policy question is not whether a technology has risk,” says Chris Wysopal, cofounder of the cloud security firm Veracode. “The question is whether a specific restriction meaningfully reduces that risk or whether it mainly slows down the people trying to make systems safer.” This story originally appeared at wired.com . WIRED WIRED Wired.com is your essential daily guide to what's next, delivering the most original and complete take you'll find anywhere on innovation's impact on technology, science, business and culture. 47 Comments