Wired AI • 29일 전

AI 에이전트의 물리 세계 진출, 앤트로픽이 제시한 안전 프레임워크

IMP

7/10

핵심 요약

앤트로픽이 AI 에이전트가 현미경, 로봇 팔, 제조 설비 등 물리적 하드웨어와 안전하게 상호작용하기 위한 'Model Hardware Standard'라는 새 프레임워크를 공개했습니다. AI가 과학 연구와 제조업을 혁신할 수 있다는 기대 속에, 생물무기 개발 악용 가능성이나 물리적 피해 위험 등을 방지하는 가드레일을 포함하고 있습니다. 이는 챗봇 다음 단계로 여겨지는 AI 에이전트가 소프트웨어를 넘어 실제 세계로 확장되는 흐름에서 중요한 전환점입니다.

번역된 본문

AI 에이전트가 가끔 혼란을 일으켜 다른 컴퓨터에 해킹을 시도하기도 하지만, 앤트로픽은 이 '장난꾸러기들'을 과학 연구실과 제조 시설에 안전하게 풀어놓을 방법을 찾았다고 생각한다.

이 AI 기업은 AI 에이전트가 현미경, 액체 핸들링 장비, 양자 컴퓨팅 하드웨어, 제조 기계, 로봇 팔과 같은 물리적 시스템을 사용하도록 돕는 새로운 프레임워크의 세부 사항을 오늘 공개했다. 'Model Hardware Standard(모델 하드웨어 표준)'라는 이름의 이 프레임워크는 AI 에이전트가 각종 하드웨어와 어떻게 상호작용해야 하고 하지 말아야 하는지를 규정하는 규칙 집합이다. 이는 AI가 안전하게 물리적 세계에 진출할 수만 있다면 과학 연구와 제조업 같은 산업을 혁신할 잠재력이 있다는 확산되는 믿음을 반영한다.

회사 측은 일반 공개에 앞서 신뢰할 수 있는 파트너들과 협력해 안전성을 극대화하는 방안을 결정할 예정이라고 밝혔다. 생물무기 개발 등 악용 가능성이 존재하지만, AI 모델 자체에 내장된 가드레일이 악의적인 행위자가 새 표준을 나쁜 목적으로 활용하는 것을 막아줄 것이라고 회사는 말한다.

"동기는 과학을 가속화하고자 하는 것"이라고 이 표준 개발을 공동 주도한 양자물리학자 알렉 케메니(Alek Kemeny)는 말한다. "문헌 검토와 데이터 분석을 가속화하는 능력과 실험 세계의 힘을 어떻게 연결할 수 있을까?"

클로드(Claude)와 다른 챗봇은 이미 과학 논문이나 실험 결과 형태의 방대한 정보를 훑어 새로운 통찰과 아이디어를 발굴하는 강력한 도구다. AI 에이전트는 챗봇의 다음 단계로 널리 여겨지며, 이메일 답장 같은 일을 주로 일반 컴퓨터에서 수행하도록 설계되어 있다. 다른 하드웨어도 사용할 수 있을 잠재력이 있으며, 앤트로픽은 그 과정에서 규칙이 마련되도록 하고자 한다.

Periodic Labs, LILA Sciences, Edison Scientific, 그리고 전직 구글 연구자들이 설립한 Discovery Loop 등 여러 자금력 있는 스타트업들이 AI 에이전트 주도의 과학 발견이라는 비전을 추구하고 있다. 핵심 아이디어는 AI가 과학적 가설을 개발하고 검증하는 재귀적 순환을 통해 본질적으로 과학 발견을 자동화할 수 있다는 것이다.

앤트로픽에서 이 표준 작업에 참여한 실험생물학자 조나 쿨(Jonah Cool)은 과학 장비를 설정하고 다른 하드웨어와 상호작용하게 하는 것은 일반적으로 상당한 전문 지식을 필요로 한다고 말한다. AI는 기계를 설정하고 서로 통신하도록 함으로써 관련된 복잡한 엔지니어링의 상당 부분을 자동화할 수 있다.

앤트로픽은 여러 제조업체와 협력해 이 표준을 개발하고 있다. "이전에는 맞춤형 코드가 필요했던 여러 로봇 시스템이 있는 사례들을 보기 시작했다"고 케메니는 말한다. 새 표준을 사용하면 클로드가 공장 라인의 로봇들을 살펴보고 행동을 최적화하는 방법을 파악할 수 있다고 그는 덧붙였다.

AI 에이전트는 최근 좋지 않은 이유로 뉴스에 오르내렸다. 앤트로픽과 OpenAI 등은 최근 사이버보안 문제 해결을 맡긴 AI 에이전트가 몰래 외부 시스템에 해킹을 시도하고 인간 사용자를 속이려 한 사례를 발견했다. AI가 물리적 시스템을 사용하도록 허용하는 것은 물리적 시스템 손상이나 인명 피해 가능성 때문에 새로운 위험을 초래할 수 있다. 예를 들어 실험을 통해 AI 모델이 속아서 로봇이 잘못 행동하도록 만들어질 수 있음이 입증된 바 있다. 앤트로픽은 새 표준을 통해 과학자와 엔지니어가 AI 모델이 각 하드웨어를 사용하지 않도록 지정해 사고를 예방할 수 있다고 말한다.

앤트로픽은 이전에 AI 모델이 다양한 소프트웨어 프로그램과 상호작용하는 규칙을 규정한 모델 컨텍스트 프로토콜(Model Context Protocol)을 도입한 바 있다.

원문 보기

원문 보기 (영어)

Comment Loader Save Story Save this story Comment Loader Save Story Save this story Artificial intelligence agents might occasionally get confused and hack into other computers , but Anthropic thinks it has a way to unleash the little rascals into scientific labs and manufacturing facilities safely. The AI company released details today of a new framework designed to help AI agents use physical systems like microscopes, liquid-handling equipment, quantum computing hardware, manufacturing machines, and robot arms. The framework, called Model Hardware Standard, is a set of rules that specify how AI agents should—and should not—interact with all sorts of hardware. It reflects a growing belief that AI has the potential to revolutionize scientific research and industries like manufacturing–if it can venture into the physical world safely. The company says it will work with trusted partners to determine how to maximize safety before making it generally available. Though there are potential misuse issues involved—developing biological weapons, for instance—the company says guardrails built into AI models themselves should prevent bad actors from taking advantage of the new standard for nefarious ends. “The impetus is wanting to accelerate science,” says Alek Kemeny, a quantum physicist who co-led the development. “How do we close the loop between accelerating literature review and data analysis—and bring that power to the experimental world?” Claude and other chatbots are already powerful tools for combing through large amounts of information in the form of scientific papers or experimental results to uncover new insights and ideas. AI agents are widely considered the next step after chatbots: They’re designed to take actions, often on ordinary computers, doing things like answering emails. They can potentially use other hardware, too—and Anthropic wants to make sure there are rules in place as they do. Several well-funded startups are pursuing a vision for scientific discovery driven by AI agents, including Periodic Labs , LILA Sciences , Edison Scientific , and Discovery Loop , which was founded by several prominent ex-Google researchers . A key idea is that AI could develop and test scientific hypotheses in a recursive loop that essentially automates scientific discovery. Jonah Cool, an experimental biologist who worked on the standard at Anthropic, says that configuring scientific equipment and having it interact with other pieces of hardware typically requires serious expertise. AI could automate much of the complex engineering involved by configuring machines and having them talk to one another. Anthropic is working with a number of manufacturers to develop the standard. “We're starting to see some cases where you know you have multiple robotic systems that previously would need bespoke code,” Kemeny says. Using the new standard, he adds, Claude can view the robots on the factory line and figure out how to optimize behavior. AI agents have been in the news lately for all the wrong reasons. Anthropic, OpenAI, and others have recently found instances in which AI agents tasked with solving cybersecurity problems secretly hacked into outside systems and tried to deceive human users. Letting AI use physical systems raises the prospect of new risks because of the potential to damage physical systems or hurt people. Experiments have shown, for example, how AI models can be tricked into making robots misbehave . Anthropic says the new standard will let scientists and engineers specify how AI models should avoid using different hardware to prevent mishaps. Anthropic previously introduced the Model Context Protocol, which specifies rules for having AI models interact with different software programs.

앤트로픽 AI 에이전트 하드웨어 표준 로보틱스 과학 연구 자동화