기업 AI의 진짜 위험은 자율 에이전트가 아닌 그 사이의 복잡성
기업들이 에이전트를 하나씩 배포하는 것이 아니라 수십 개의 에이전트 함대를 운영하면서 상호 연결과 연쇄 호출이 폭증해 아무도 통제할 수 없는 복잡성 문제가 발생하고 있다. 권한 관리와 책임 소재가 흐려지면서 보안·거버넌스 사각지대가 커지며, 해결책은 각 에이전트에 독립적 정체성과 명확한 인간 책임자를 부여하고 전체 체인에 걸친 감독 체계를 구축하는 것이다.
Gravitee 제공. 에이전트 복잡성은 지금 기업 내부에 숨어 있는 은밀한 그림자로, 이제 조명을 비춰야 할 때다.
기업은 에이전트 하나를 배포하고 지켜보는 것이 아니라 에이전트 함대(fleet)를 배포한다. 각각이 API를 호출하고, 다른 에이전트를 호출하며, 기계 의사결정자를 염두에 두고 만들어지지 않은 애플리케이션 깊숙이 접근한다. 밤잠을 설치게 할 실패 유형은 바로 이것이다. 아무도 명확히 들여다볼 수 없어 통제할 수 없는, 복잡하게 얽힌 시스템.
그런데 왜 상황이 이렇게 빨리 불투명해지는가? 시스템에 에이전트를 하나 추가하면 연결 하나가 늘어난다. 열 번째를 추가하면 연결이 열 개 늘어나는 게 아니라 수십 개가 늘어날 수 있다. 이제 어떤 에이전트든 다른 에이전트를 호출할 수 있고, 그 각각의 호출이 다른 곳에서 또 다른 호출을 촉발할 수 있기 때문이다. 복잡성은 에이전트 수에 따라 조금씩 늘어나는 게 아니라 에이전트 사이의 경로 수에 따라 복리로 증가한다. 그런데 그 그래프를 그리는 일은 누구의 업무도 아니다.
예전에 시스템 하나만 거치던 고객 지원 티켓이 이제는 사람 눈에 띄기도 전에 네 개의 에이전트를 거칠 수 있고, 그 모든 인계 지점은 아무도 승인하지 않은 의사결정 지점이다.
대부분의 기업 AI 프로그램은 에이전트 책임자들이 실마리를 놓쳤을 때 멈춘다. 보안 팀에 간단한 질문을 던져보라. 어떤 에이전트가 어떤 시스템에 접근할 수 있는가? 침묵을 지켜보게 될 것이다. 세 단계 전에 어떤 에이전트가 어떤 하위 액션을 촉발했는가? 또 다시 침묵.
본능적으로 이것을 체크리스트 문제로 취급하고 싶어진다. 에이전트를 승인하고, 로그를 남기고, 넘어간다. 나는 이것이 잘못된 본능이라고 주문다. 체크리스트는 단일 시점만 검사한다. 복잡성은 사슬 전체에 걸쳐 흐른다. 일회성 승인 서류 더미로는 사슬을 통제할 수 없다. 한 번 채소를 먹었다고 다이어트가 성공했다고 말할 수 없는 것과 같다.
그럼 실제로는 어디서 무너지는가?
먼저 권한이 무분별하게 늘어난다(permissions creep). 누군가 고객 지원 티켓을 요약하는 에이전트를 만들면서, 제대로 권한 범위를 정하려면 스프린트가 하나 더 필요했을 터라 광범위한 API 접근 권한을 부여하고 잊어버린다. 6개월 뒤 그 에이전트는 결제 시스템까지 접근할 수 있는 경로를 갖게 된다. 아무도 그 승인을 기억하지 못한다. 애초에 아무도 승인한 적도 없다.
그리고 사슬이 길어질수록 책임 소재는 희석된다. 다섯 개의 에이전트가 하나의 워크플로우를 거치는데 4단계에서 문제가 생기면, 이제 아무에게도 할당된 적 없는 연결고리에 대한 책임자를 찾게 된다. 조직도가 '에이전트 배포'에서 멈추고 '책임질 사람을 지정하기'까지는 가지 않았기 때문이다.
이것은 에이전트의 실제 행동 방식, 즉 상호 연결되고 연쇄하며 그것을 추적하기 위해 만들어진 프로세스보다 빠르게 증식하는 특성을 거버넌스 인프라가 따라가지 못한 이야기다.
이 문제를 해결하는 것은 정체성(identity)에서 시작된다. 모든 에이전트는 배포한 사람의 권한을 빌려 쓰는 그림자 권한이 아니라 자체적인 개체로 존재해야 한다. 등록부에 자신만의 이름, 자신만의 범위 지정된 권한, 그리고 자신이 하는 일에 책임을 지는 이름 있는 인간 스폰서가 있어야 한다. 그 부분은 필수다.
하지만 그것만으로는 결코 충분하지 않다.
더 어려운 부분은 개별 연결고리가 아니라 전체 사슬에 걸쳐 유지되는 감독이다. 여러분은 전체 체인에 걸친 감독 체계가 필요하다.