VentureBeat AI • 12일 전

AI 인프라 투자, 비용 측정 속도 앞지른다

IMP

8/10

핵심 요약

최근 조사에 따르면, 기업들의 AI 인프라 투자는 효율을 통제하고 측정할 수 있는 능력을 훨씬 앞지르고 있습니다. 현재 대부분의 기업이 GPU 활용도를 절반 이하로 방치하고 있음에도 불구하고, 향후 AI 특화 클라우드 등 새로운 인프라로의 빠른 전환을 계획하고 있습니다. 실무자들은 단순히 API 단가가 아닌 기존 시스템과의 통합성과 총소유비용(TCO)을 기준으로 의사결정을 내려야 할 때입니다.

번역된 본문

107개 기업을 대상으로 한 조사 결과, AI 인프라 지출은 이를 관리하고 경제성을 파악하는 능력을 훨씬 앞지르며 가속화되고 있습니다. 대부분의 조직은 현재 익숙한 하이퍼스케일러와 모델 제공업체의 API를 기반으로 AI를 운영하고 있지만, 다음 투자처는 오늘날 거의 사용하지 않는 전문 컴퓨팅 파워를 향하고 있습니다. 과반수가 1년 이내에, 그중 상당수는 분기 이내에 제공업체를 교체하거나 추가할 계획입니다. 구매 결정은 단순한 토큰(Token) 가격이 아닌 시스템 통합성과 총소유비용(TCO)에 달려 있습니다. 이는 다행스러운 일인데, 왜냐하면 대부분의 기업이 아직 단위 경제성을 명확히 파악하지 못하고 있기 때문입니다. GPU는 절반 이하의 활용률로 방치되고 있으며, 컴퓨팅의 실제 비용을 엄격하게 추적하는 기업은 절반도 되지 않습니다. 그 결과 '컴퓨팅 격차(Compute gap)'가 발생했습니다. 즉, 가시성 확보라는 통제 수단보다 막대하고 빠른 투자가 한참 앞서가고 있는 것입니다.

이번 벤처비트 펄스 리서치(VentureBeat Pulse Research) 물결은 기업용 AI 인프라 및 컴퓨팅을 조사합니다. 조직의 배포 여정, 현재 AI를 구동하는 환경, 만족도, 제공업체 교체 요인, 투자 평가 계획, 그리고 무엇보다 이 모든 것의 기반이 되는 컴퓨팅 비용을 얼마나 잘 측정하고 통제할 수 있는지를 심층 분석했습니다.

핵심 발견은 바로 '컴퓨팅 격차'입니다. 이는 기업의 공격적인 AI 인프라 투자 규모와 기업이 파악하고 있는 경제적 실체 사이의 괴리를 의미합니다. 규모를 갖춰 실제 프로덕션 환경에서 AI를 운영하는 곳은 약 5곳 중 1곳(21%)에 불과하지만, 지출 의향은 이러한 성숙도를 능가하고 있습니다. 기업들이 내년에 평가할 계획인 가장 큰 분야는 단연 'AI 특화 클라우드(45%)'로, 현재 이를 사용하는 기업은 거의 없습니다. 동시에 이미 구축된 컴퓨팅 자원은 식어가고 있습니다. 83%가 GPU 활용률이 50% 이하라고 답했으며, 자사의 AI 컴퓨팅 비용을 정확히 추적할 수 있는 곳은 44% 미만입니다. 기업들은 이미 보유한 자원을 제대로 파악하기도 전에 새로운 인프라를 더 빠르게 구매하고 있습니다.

기업들은 인프라 벤더에 만족하지 않고 있습니다. 명확한 다수(64%)가 12개월 이내에 인프라 제공업체를 교체하거나 추가할 계획이며, 38%는 다음 분기 내에 그렇게 할 예정입니다. 이는 기초적인 인프라 분야에서는 이례적으로 높은 이탈 의도입니다. 벤더를 선택할 때 기준은 기존 스택과의 통합성(41%)과 총소유비용(35%)이지, 박스피스의 가격이 아닙니다. '백만 토큰당 비용'이 결정적 요인이라고 답한 비율은 단 8%에 불과했습니다. 또한 추론 규모가 확장됨에 따라 GPU 연산에서 메모리 대역폭으로 제약 조건이 이동하는 등 향후 의사결정을 좌우할 최전선 제약 사항에 대해서는 거의 인지하지 못하고 있으며, 약 20%의 기업만이 이를 인지하거나 해결하고 있습니다.

연구 방법론 벤처비트(VentureBeat)는 지속적인 펄스 리서치(Pulse Research) 시리즈의 일환으로 이번 설문을 진행했으며, 기업용 AI 인프라, 컴퓨팅 및 추론 경제성에 초점을 맞췄습니다. 응답은 직원 수가 100명 이상인 조직(n=107, 가장 작은 규모인 1~100명 조직 제외)을 기준으로 필터링되었으며, 2026년 2분기(6월) 단일 조사에서 수집되었습니다.

원문 보기

원문 보기 (영어)

Across 107 enterprises, AI infrastructure spending is accelerating well ahead of the ability to see or steer its economics. Most organizations run their AI on a familiar base of hyperscalers and model-provider APIs, yet the next dollar is aimed at specialized compute almost none of them use today; a majority intend to switch or add providers within the year, many within a quarter. Buying decisions turn on integration and total cost of ownership rather than headline token price — which is fortunate, because most enterprises cannot yet see their unit economics clearly: GPUs sit at half utilization or less, and fewer than half rigorously track what their compute actually costs. The result is a compute gap — heavy, fast-moving investment running ahead of the visibility needed to control it.This wave of VentureBeat Pulse Research examines enterprise AI infrastructure and compute: where organizations are in their deployment journey, what they run AI on today, how satisfied they are, what would make them switch, where they plan to evaluate their investments, and — most revealingly — how well they can measure and control the economics of the compute underneath it all.The central finding is a compute gap — the distance between how aggressively enterprises are investing in AI infrastructure and how little of its economics they can see. Only about one in five (21%) run AI in production at scale, yet spending intentions are outrunning that maturity: the single largest planned area enterprises plan to evaluate over the next year is AI-specialized clouds (45%), a layer almost none of these enterprises use today. Meanwhile the compute already in place runs cold — 83% report GPU utilization of 50% or less — and fewer than half (44%) can rigorously track what their AI compute costs. Enterprises are buying more infrastructure faster than they can account for what they already own.Enterprises are not settled on their infrastructure vendors, either: A clear majority (64%) plan to switch or add an infrastructure provider within twelve months, and 38% within the next quarter — unusually high churn intent for a category this foundational. When they choose, they choose on integration with the existing stack (41%) and total cost of ownership (35%), not on headline price: cost per million tokens is the deciding factor for just 8%. And the frontier constraint that will shape the next round of decisions — the shift from GPU compute to memory bandwidth as inference scales — is barely on the radar, with roughly one in five enterprises either unaware of it or yet to address it.MethodologyVentureBeat fielded this survey as part of its ongoing Pulse Research series, this survey focused on enterprise AI infrastructure, compute, and inference economics. Responses are filtered to organizations with more than 100 employees (n=107; the survey’s smallest size band, 1–100 employees, is excluded), drawn from a single Q2 2026 (June) wave. Because this is one wave rather than a pooled mul

AI 인프라 컴퓨팅 격차 비용 최적화 엔터프라이즈 AI TCO