최근 조사에 따르면 기업의 다수가 AI 에이전트가 자신감 있게 틀린 답변을 내놓는 '컨텍스트 격차(Context gap)' 문제를 겪고 있습니다. 정보 검색 문제가 아니라 비즈니스 데이터에 대한 신뢰 문제이며, 이를 해결하기 위해 '거버넌스 의미론적 계층(governed semantic layer)'을 구축하는 기업이 늘고 있어 주목됩니다.
기업들은 다단계 작업을 수행하는 에이전트 오케스트레이션 도입을 목표로 하지만, 실제로는 단순 챗봇 수준에 머물러 있는 등 도입 목표와 현실 간의 격차가 큰 상황입니다. 이 과정에서 특정 업체 종속을 피하기 위해 하이브리드 제어 환경 구축을 선호하며, 토큰 비용에 대한 실시간 통제가 부족해 비용 관리의 중요성이 대두되고 있습니다.
데이터 플랫폼 기업 도모(Domo)의 최고 디자인 책임자(CDO)는 기업들이 AI에 대한 '뒤처짐 불안감(FOMO)'과 조급함에 밀려 전략 없이 기술만 도입하고 있다고 비판했습니다. 공포 마케팅과 무분별한 사용(tokenmaxxing)은 실질적인 혁신이나 재무적 성과로 이어지지 않으며, AI를 목적이 아닌 '비즈니스 문제 해결을 위한 도구'로 접근해야 한다고 강조했습니다.