AI 에이전트 자율성 시대, 거버넌스는 데이터 레이어에 있어야
기업들이 AI 에이전트에 더 많은 자율성을 부여함에 따라, 에이전트가 승인받지 않은 행동을 하지 못하도록 막는 실질적 통제가 필요하다는 주장이 제기되었다. 에이전트 레이어의 가드레일은 자율성이 높아질수록 예측 불가능성 때문에 한계에 부딪히므로, 거버넌스는 에이전트가 실제로 일하는 데이터 레이어에서 실행 가능하고 강제되어야 한다. 데이터베이스 자체의 속성으로서 접근 제어와 감사 가능성을 구현하는 것이 핵심이다.
EDB 제공기업들이 AI 에이전트에 더 많은 자율성 — 각 단계마다 사람의 승인 없이 계획하고, 결정하고, 여러 시스템에서 행동하는 능력 — 을 부여함에 따라, 모든 아키텍처 검토의 중심에는 어려운 질문이 놓이게 된다: 에이전트가 승인받은 적 없는 행동을 시도할 때, 실제로 무엇이 그것을 막는가?
이것은 당신의 에이전트이고, 당신의 모델 위에서 실행되며, 당신의 인프라에서 당신의 데이터를 다룬다 — 그리고 그들이 하는 일에 대한 책임은 당신에게 있다. 이 책임은 사후에, 또는 종이 위에만 존재하고 실무에서는 작동하지 않는 추상적인 정책 집합으로는 충족될 수 없다. 에이전트는 자신의 행동에 대해 판단을 내리지 않기 때문에, 상황에 맞는 맥락 속의 규칙이 필요하다.
간단한 규칙을 생각해보자: 절대 차 문을 열지 마라. 이 규칙을 문자 그대로 따르면 에이전트는 차에 타거나 내릴 수조차 없다. 하지만 맥락이 바뀌면(차가 방금 충돌했고, 불이 났고, 다친 사람이 나가야 하는 상황) 실제로 원하는 규칙은 정반대가 된다. 순간의 맥락이 전부다. 우리는 에이전트에게 지적인 일을 요구하고 있으며, 그것은 지적인 규칙을 필요로 한다.
본능적으로는 에이전트 주위에 가드레일을 추가하고 싶어 한다: 모델 위에 지침, 정책, 모니터링을 쌓는 것이다. 이러한 메커니즘도 중요하지만, 모두 구조적인 한계를 공유한다: 차 문 규칙은 실제로 문을 열지 말지 결정해야 하는 순간까지는 그럴듯해 보인다. 에이전트 레이어의 통제는 에이전트의 출력이 예측 가능한 만큼만 신뢰할 수 있는데, 자율성은 바로 그 출력을 예측하기 어렵게 만드는 속성이다. 행동이 일어나기 전에 검토에 의존하는 거버넌스는 밀리초 단위로, 여러 시스템에서 동시에 행동하는 시스템의 속도를 따라갈 수 없다.
거버넌스는 실행 가능(executable)해야 하며, 에이전트가 실제로 일하는 곳에서 강제되어야 한다: 운영 데이터 레이어에서, 맥락 속에서, 그리고 정확히 그 순간에.
데이터 레이어가 강제 지점이다
에이전트는 데이터를 다루면서 가치를 창출한다. 데이터를 조회하고, 검색하고, 변환하고, 점점 더 그것에 대해 행동한다. 에이전트가 특정 종류의 데이터에 접근해서는 안 된다는 정책은, 에이전트가 요청하는 순간에 시스템이 그 접근을 거부할 수 있을 때만 의미가 있다. 또한 AI는 감사 가능(auditable)해야 한다는 원칙은, 조직이 에이전트가 무엇을 했는지, 어떤 데이터를 다뤘는지, 어느 사용자를 위해 행동했는지, 그 결과가 무엇이었는지 재구성할 수 있을 때만 의미가 있다. 거버넌스가 데이터 레이어에 존재하면, 에이전트가 어떻게 만들어졌는지, 어떻게 행동하는지와 무관하게 유지된다. 통제가 에이전트의 약속이 아니라 데이터베이스 자체의 속성이기 때문이다.
에이전트의 행동은 확률적일 수 있다. 거버넌스는 확률적이어서는 안 된다
기업은 모델이 정책을 따르기를 '선택하기'를 바라서는 안 된다. 정책은 시스템에 의해 강제되어야 한다. 이것이 행위자가 경계 안에 머물기를 바라는 것과, 애초에 넘을 수 없는 경계를 구축하는 것의 차이다.
이것을 현실로 만드는 통제 장치들은 많은 기업이 이미 데이터 레이어에서 운영하고 있는 것들이다: 역할 기반 및 속성 기반 접근 제어 등.