VentureBeat AI • 12일 전

기업 AI의 근본 문제는 '신뢰' 부족

IMP

8/10

핵심 요약

최근 조사에 따르면 기업의 다수가 AI 에이전트가 자신감 있게 틀린 답변을 내놓는 '컨텍스트 격차(Context gap)' 문제를 겪고 있습니다. 정보 검색 문제가 아니라 비즈니스 데이터에 대한 신뢰 문제이며, 이를 해결하기 위해 '거버넌스 의미론적 계층(governed semantic layer)'을 구축하는 기업이 늘고 있어 주목됩니다.

번역된 본문

101개 기업을 대상으로 한 조사 결과, AI 에이전트에게 비즈니스 맥락(컨텍스트)을 제공하는 인프라가 이를 신뢰할 수 있는 속도보다 더 빠르게 구축되고 있다는 사실이 드러났습니다. 검색 증강 생성(RAG, Retrieval-augmented generation)은 이미 기본 컨텍스트 소스로 자리 잡았으며, 이 분야를 상징하던 전용 벡터 데이터베이스(Vector DB)를 제공업체 기본 검색 기능이 조용히 추월했습니다. 하지만 다수의 기업은 이미 자사의 에이전트가 누락되거나 일관성 없는 컨텍스트로 인해 자신감 있게 잘못된 답변을 생성하는 것을 목격했습니다. '거버넌스 의미론적 계층(governed semantic layer)'이 해결책으로 떠오르고 있지만, 대부분의 기업은 여전히 이를 구축 중이며, 현장에서는 하이브리드 검색 방식으로 수렴하고 있습니다. 또한 제공업체 기본 도구가 실제로는 선도하고 있음에도 불구하고, 많은 수의 기업이 최고의 독립적 도구(Best-of-breed)를 유지하려는 의향을 보였습니다. 그 결과 발생하는 것이 바로 '컨텍스트 격차(Context gap)'입니다. 즉, AI 에이전트는 매우 권위 있게 들리지만 그 기반이 되는 정보의 주체조차 아직 완전히 신뢰하지 못하는 상태인 것입니다.

벤처비트(VentureBeat)의 이번 'Pulse Research' 시리즈는 기업용 RAG 및 컨텍스트 계층을 조명합니다. AI 에이전트에게 비즈니스 컨텍스트를 제공하는 것은 무엇인지, 어떤 검색 시스템을 운영하는지, 이를 어떻게 구매하고 측정하는지, 아키텍처가 어디로 향하고 있는지, 그리고 가장 흥미롭게도 그 컨텍스트가 얼마나 자주 실패하는지를 심층 분석했습니다.

가장 핵심적인 발견은 바로 '컨텍스트 격차'입니다. 이는 기업용 에이전트가 답변할 때의 자신감 정도와 그 기반이 되는 컨텍스트의 실제 신뢰성 간의 거리를 의미합니다. 다수의 기업(57%)이 지난 6개월 동안 자사의 AI 에이전트가 누락되거나 일관성 없는 비즈니스 컨텍스트로 인해 자신감 있게 틀린 답변을 생성했다고 보고했으며, 그중 절반 이상은 이런 일이 여러 차례 발생했다고 답했습니다. 이는 결코 가벼운 실패가 아닙니다. 검색은 38%의 기업에서 가장 주요한 컨텍스트 소스(다른 어떤 접근 방식보다 높은 비율)이므로, 검색 결과가 부실하거나 일관성이 없을 때 발생하는 오류는 AI 에이전트의 권위를 띠게 됩니다. 이를 해결하기 위한 인프라는 현재 건설 중입니다. 58%가 이미 '거버넌스 의미론적 계층'을 운영 중이거나 구축하고 있지만, 대부분의 기업은 아직 프로덕션(실제 서비스) 단계까지 도달하지 못했습니다.

이면을 들여다보면, 시장은 놀라운 방향으로 통합되고 있습니다. OpenAI의 파일 검색(40%) 및 Google의 Vertex AI Search(38%)와 같은 제공업체 기본 검색 기능이 이미 모든 전용 벡터 데이터베이스를 앞서고 있으며, 기업들은 2026년 말까지 하이브리드 검색이 지배할 것(34%)으로 예상합니다. 그러나 다수(36%)는 특정 제공업체의 기본 컨텍스트 스택으로 통합하기보다는 최고 성능의 독립적인 도구(Best-of-breed)를 유지하려 한다고 밝혔고, 과반수(57%)는 올해 안에 제공업체를 교체하거나 추가할 계획이라고 답했습니다. 명목상의 선호도와 실제 사용량은 정반대 방향으로 당기고 있습니다. 즉, 시장은 제공업체 기본 도구를 구매하면서도 자신들은 독립성을 원한다고 주장하고 있는 것입니다.

연구 방법론 벤처비트는 지속적인 'Pulse Research' 시리즈의 일환으로 이 설문 조사를 실시했습니다. 이번 조사는 기업용 RAG 인프라 및 AI 에이전트에 정보를 제공하는 컨텍스트 계층(검색 시스템, 의미론적 계층, 컨텍스트 소스)에 초점을 맞추었습니다. 응답은 직원 수가 100명 이상인 조직(n=101)으로 필터링되었습니다. 100명 이하의 조직에서는 응답이 없었으므로 전체 표본이 조사 자격 요건을 충족합니다. 모든 응답은 2026년 2분기(6월)의 단일 조사에서 수집되었습니다.

원문 보기

원문 보기 (영어)

Across 101 enterprises, the infrastructure that feeds AI agents their business context is being built faster than it can be trusted. Retrieval-augmented generation is already the default context source, and provider-native retrieval has quietly overtaken the dedicated vector databases that define the category — yet a majority of enterprises have already watched their agents produce confident, wrong answers traced to missing or inconsistent context. A governed semantic layer is emerging as the fix, but most are still building it; the field is converging on hybrid retrieval; and even as provider-native tools lead in practice, a plurality say they intend to keep best-of-breed. The result is a context gap — agents that sound authoritative running on a foundation their owners do not yet fully trust.This wave of VentureBeat Pulse Research examines the enterprise RAG and context layer: what feeds AI agents their business context, which retrieval systems enterprises run, how they buy and measure them, where the architecture is heading, and — most revealingly — how often that context is already failing them.The central finding is a context gap — the distance between how confidently enterprise agents answer and how reliable the context beneath them actually is. A majority of enterprises (57%) report that in the past six months their AI agents produced confident but wrong answers they traced to missing or inconsistent business context, and more than half of those said it happened more than once. This is not a fringe failure: retrieval is the primary context source for 38% of enterprises, more than any other approach, so when retrieval is thin or inconsistent, the errors it produces are wearing the agent’s authority. The infrastructure to fix it is being built — 58% already run or are building a governed semantic layer — but for most it is not yet in production.Underneath, the market is consolidating in a direction that surprises. Provider-native retrieval — OpenAI’s file search (40%) and Google’s Vertex AI Search (38%) — already leads every dedicated vector database, and enterprises expect hybrid retrieval to dominate by the end of 2026 (34%). Yet a plurality (36%) say they intend to keep best-of-breed standalone tools rather than consolidate onto a provider’s native context stack, and a majority (57%) plan to switch or add a provider within the year. Stated preference and actual usage are pulling in opposite directions — the market is buying provider-native while insisting it wants independence.MethodologyVentureBeat fielded this survey as part of its ongoing Pulse Research series. This survey focused on enterprise RAG infrastructure and the context layer — the retrieval systems, semantic layers, and context sources that feed AI agents. Responses are filtered to organizations with more than 100 employees (n=101); the survey drew no responses from organizations of 100 or fewer, so the full sample qualifies. All responses are from a single Q2 2026 (June) wav

RAG 컨텍스트 격차 기업 AI 벡터 데이터베이스 AI 신뢰성