메뉴
BL
TechCrunch AI 56일 전

마이크로소프트, AI 에이전트 행동 제어 위한 새로운 오픈소스 표준 공개

IMP
8/10
핵심 요약

마이크로소프트가 AI 에이전트의 행동을 일관되고 세밀하게 통제할 수 있도록 돕는 새로운 오픈소스 표준인 '에이전트 제어 사양(ACS, Agent Control Specification)'을 발표했습니다. 이 사양은 개발자가 단일 정책 파일을 통해 에이전트의 허용 및 금지 행위, 인적 승인 조건, 로그 기록 등을 규칙으로 정의할 수 있게 해줍니다. ACS는 다양한 인기 프레임워크에 플러그인 형태로 제공되어, 기업이 시스템과 환경에 구애받지 않고 일관된 AI 거버넌스를 적용할 수 있다는 점에서 실무적으로 매우 중요한 의미를 갖습니다.

번역된 본문

AI 에이전트가 점점 더 고도화됨에 따라, 애플리케이션, 워크플로우 및 제품 전반에 걸쳐 이를 도입하려고 경쟁하는 기업들은 새로운 과제에 직면해 있습니다. 바로 서로 다른 환경에 에이전트를 배포했을 때 의도된 대로 작동하는지 확인하는 것입니다. 마이크로소프트는 개발자들에게 AI 에이전트가 수행할 수 있는 작업을 통제할 수 있는 더 일관되고 세분화된 방법을 제공하기 위해 '에이전트 제어 사양(Agent Control Specification, 이하 ACS)'이라는 새로운 오픈소스 표준을 통해 이 문제를 해결하고자 합니다.

이 사양은 본질적으로 개발자, 컴플라이언스(규정 준수) 및 보안 팀이 에이전트가 따라야 할 자체 정책을 정의할 수 있도록 해줍니다. 규칙을 통해 에이전트가 수행할 수 있는 작업, 해서는 안 되는 작업, 사람의 승인이 필요한 시점, 그리고 나중에 검토하기 위해 기록해야 하는 증거 등을 정의할 수 있습니다. 이러한 정책 파일은 에이전트가 작업을 수행하는 동안 여러 '차단 지점(interception points)'에서 확인되어 에이전트가 설정된 가드레일(안전 장치) 내에 머물도록 보장합니다.

이 표준은 개발자들이 AI가 보고 수행하는 것을 통제하기 위해 즉흥적인 방법을 고안해 내고 있는 시점에 등장했습니다. 특히 도구의 오용이나 의도치 않은 행동으로 인해 연쇄적인 장애가 발생하는 AI 워크플로우 오류에 대한 논의가 집중되고 있기 때문입니다. 현재 개발자들은 시스템 프롬프트에 지시문을 명시하거나, 애플리케이션 코드에 사용자 정의 검사를 추가하거나, 문제가 있는 입력과 출력을 포착하기 위해 분류기를 사용할 수 있습니다. 이러한 접근 방식은 작동하긴 하지만, 기업 입장에서는 감사하기 어렵고 다양한 프레임워크, 인터페이스 및 시스템에서 재사용하기 더더욱 어려운 파편화된 통제 수단을 남기는 경우가 많습니다.

ACS는 이러한 통제 기능을 공통 거버넌스 계층으로 통합하는 것을 목표로 합니다. 마이크로소프트에 따르면, 이 사양은 워크플로우의 여러 지점, 즉 입력을 받기 전, 도구를 호출하기 전, 도구가 결과를 반환한 후, 최종 응답을 사용자에게 보내기 전 등에서 에이전트가 가드레일을 준수하는지 확인하는 데 사용할 수 있습니다. 정책은 특정 작업을 허용하거나 차단할 수 있고, 민감한 정보를 수정하거나 담당자의 승인을 요청할 수도 있습니다.

또한 개발자는 정보를 분류하고 결과를 예측하거나 에이전트의 응답 방식을 결정하기 위해 입력 및 출력용 분류기를 삽입할 수 있습니다. 정책에 대한 '판사' 역할을 하도록 프롬프트가 지정된 대형 언어 모델(LLM)을 추가할 수도 있습니다. 나아가 도구 호출, 도구 선택, 입력 정확성, 출력 사용 및 응답을 확인하기 위한 논리를 포함시킬 수도 있습니다. 그리고 이러한 정책은 단일 파일로 작성할 수 있기 때문에 에이전트와 함께 번들로 제공될 수 있으며, 보안 정책이 다양한 프레임워크와 환경에 걸쳐 에이전트를 따라다니도록 할 수 있습니다.

ACS는 LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP 도구 등을 위한 플러그인이 포함된 SDK 형태로 제공됩니다.

원문 보기
원문 보기 (영어)
As AI agents grow ever more capable, enterprises racing to put them to work across applications, workflows, and products face a new challenge: ensuring an agent does what it's supposed to do when it's deployed across different environments. Microsoft is trying to solve this problem with a new open-source standard called Agent Control Specification , or ACS, that aims to give developers a more consistent and granular way to control what AI agents are allowed to do. The specification essentially lets developer, compliance, and security teams define their own policies for agents to follow. The rules can define what the agent may do, what it must not do, when a human should approve an action, and what evidence should be logged for later review. These policy files are checked at several "interception points" when the agent is off performing a task to make sure it stays within the guardrails. The spec comes as developers are improvising ways to control what their AI sees and does, especially with conversations focusing on AI workflows going wrong due to tool misuse , or unintended actions that result in cascading failures. Today, developers might specify instructions in a system prompt, add custom checks in the application code, or use classifiers to catch problematic inputs and outputs. Those approaches work, but they often leave companies with fragmented controls that are hard to audit and harder to reuse across different frameworks, interfaces, and systems. ACS aims to integrate those controls into a common governance layer. Microsoft says the specification can be used to check whether an agent is sticking to guardrails at multiple points in its workflow — before it receives input, before it calls a tool, after a tool returns a result, and before the final response is sent to the user. A policy may allow an action, block it, redact sensitive information, or even ask a person to approve it. Developers can also insert classifiers for inputs and outputs to categorize information, predict outcomes, or determine how an agent should respond; add LLMs with prompts to act as a "judge" for policies; and logic for checking tool calls, tool selection, input accuracy, output usage, and responses. And because these policies can be written as single files, they can be bundled with agents, allowing a security policy to follow an agent across different frameworks and environments. ACS is shipping as an SDK with plugins for LangChain, the OpenAI Agents SDK, the Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP tools, and more. Topics Agent Control Specification , AI , AI agents , AI governance , Microsoft When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Ram Iyer Editor Ram is a financial and tech reporter and editor. He covered North American and European M&A, equity, regulatory news and debt markets at Reuters and Acuris Global, and has also written about travel, tourism, entertainment and books. You can contact or verify outreach from Ram by emailing ram.iyer@techcrunch.com . View Bio June 18 Los Angeles Get an inside look at what it takes to scale and succeed from leaders at Mach Industries, Founders Fund, and Shinkei Systems. Through candid fireside chats and high-impact networking, you'll walk away with valuable insights and new connections. REGISTER NOW Most Popular ‘What a joke': GitHub Copilot's new token-based billing spurs consternation among devs Lucas Ropek I put Google's 24/7 AI assistant Gemini Spark to work, and it's actually pretty useful Sarah Perez Blue Origin's New Glenn rocket explodes during testing in Florida Sean O'Kane Anthropic releases Opus 4.8 with new ‘dynamic workflow' tool Russell Brandom Google engineer charged with insider trading after making $1.2M on Polymarket Amanda Silberling Meta launches Instagram, Facebook, and WhatsApp subscriptions, with more to come, including AI plans Sarah Perez Tech CEOs are apparently suffering from AI psychosis Julie Bort