마이크로소프트, AI 에이전트 행동 제어 위한 새로운 오픈소스 표준 공개
마이크로소프트가 AI 에이전트의 행동을 일관되고 세밀하게 통제할 수 있도록 돕는 새로운 오픈소스 표준인 '에이전트 제어 사양(ACS, Agent Control Specification)'을 발표했습니다. 이 사양은 개발자가 단일 정책 파일을 통해 에이전트의 허용 및 금지 행위, 인적 승인 조건, 로그 기록 등을 규칙으로 정의할 수 있게 해줍니다. ACS는 다양한 인기 프레임워크에 플러그인 형태로 제공되어, 기업이 시스템과 환경에 구애받지 않고 일관된 AI 거버넌스를 적용할 수 있다는 점에서 실무적으로 매우 중요한 의미를 갖습니다.
AI 에이전트가 점점 더 고도화됨에 따라, 애플리케이션, 워크플로우 및 제품 전반에 걸쳐 이를 도입하려고 경쟁하는 기업들은 새로운 과제에 직면해 있습니다. 바로 서로 다른 환경에 에이전트를 배포했을 때 의도된 대로 작동하는지 확인하는 것입니다. 마이크로소프트는 개발자들에게 AI 에이전트가 수행할 수 있는 작업을 통제할 수 있는 더 일관되고 세분화된 방법을 제공하기 위해 '에이전트 제어 사양(Agent Control Specification, 이하 ACS)'이라는 새로운 오픈소스 표준을 통해 이 문제를 해결하고자 합니다.
이 사양은 본질적으로 개발자, 컴플라이언스(규정 준수) 및 보안 팀이 에이전트가 따라야 할 자체 정책을 정의할 수 있도록 해줍니다. 규칙을 통해 에이전트가 수행할 수 있는 작업, 해서는 안 되는 작업, 사람의 승인이 필요한 시점, 그리고 나중에 검토하기 위해 기록해야 하는 증거 등을 정의할 수 있습니다. 이러한 정책 파일은 에이전트가 작업을 수행하는 동안 여러 '차단 지점(interception points)'에서 확인되어 에이전트가 설정된 가드레일(안전 장치) 내에 머물도록 보장합니다.
이 표준은 개발자들이 AI가 보고 수행하는 것을 통제하기 위해 즉흥적인 방법을 고안해 내고 있는 시점에 등장했습니다. 특히 도구의 오용이나 의도치 않은 행동으로 인해 연쇄적인 장애가 발생하는 AI 워크플로우 오류에 대한 논의가 집중되고 있기 때문입니다. 현재 개발자들은 시스템 프롬프트에 지시문을 명시하거나, 애플리케이션 코드에 사용자 정의 검사를 추가하거나, 문제가 있는 입력과 출력을 포착하기 위해 분류기를 사용할 수 있습니다. 이러한 접근 방식은 작동하긴 하지만, 기업 입장에서는 감사하기 어렵고 다양한 프레임워크, 인터페이스 및 시스템에서 재사용하기 더더욱 어려운 파편화된 통제 수단을 남기는 경우가 많습니다.
ACS는 이러한 통제 기능을 공통 거버넌스 계층으로 통합하는 것을 목표로 합니다. 마이크로소프트에 따르면, 이 사양은 워크플로우의 여러 지점, 즉 입력을 받기 전, 도구를 호출하기 전, 도구가 결과를 반환한 후, 최종 응답을 사용자에게 보내기 전 등에서 에이전트가 가드레일을 준수하는지 확인하는 데 사용할 수 있습니다. 정책은 특정 작업을 허용하거나 차단할 수 있고, 민감한 정보를 수정하거나 담당자의 승인을 요청할 수도 있습니다.
또한 개발자는 정보를 분류하고 결과를 예측하거나 에이전트의 응답 방식을 결정하기 위해 입력 및 출력용 분류기를 삽입할 수 있습니다. 정책에 대한 '판사' 역할을 하도록 프롬프트가 지정된 대형 언어 모델(LLM)을 추가할 수도 있습니다. 나아가 도구 호출, 도구 선택, 입력 정확성, 출력 사용 및 응답을 확인하기 위한 논리를 포함시킬 수도 있습니다. 그리고 이러한 정책은 단일 파일로 작성할 수 있기 때문에 에이전트와 함께 번들로 제공될 수 있으며, 보안 정책이 다양한 프레임워크와 환경에 걸쳐 에이전트를 따라다니도록 할 수 있습니다.
ACS는 LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP 도구 등을 위한 플러그인이 포함된 SDK 형태로 제공됩니다.