기업 AI 토큰 비용 폭발… 비용 통제에 비상 걸렸다
최근 글로벌 기업들이 무분별한 AI 도입으로 인해 감당하기 힘든 '토큰 비용' 폭탄을 맞고 있습니다. 특히 전문 개발자보다 PDF 변환 같은 단순 작업을 하는 비개발 직군이 토큰을 크게 소모하는 것으로 나타났습니다. 이에 우버 등 주요 기업들이 AI 도구 사용량을 제한하거나 토큰 예산을 통제하는 등 비용 절감에 나서고 있습니다.
404 미디어가 입수한 내부 녹음 파일에 따르면, 컨설팅 거대 기업 액센추어(Accenture)는 비기술직 직원들이 PDF를 프레젠테이션 슬라이드로 변환하는 것과 같은 단순 작업에 회사의 AI 토큰 예산을 낭비하는 것을 막기 위해 고군분투하고 있습니다. 녹음 내용에 따르면 액센추어는 산업 전반에 걸쳐 '토큰 지출의 급증'을 목격하고 있습니다.
이 뉴스는 기술 산업과 AI를 사용하는 다른 기업들의 주요 변화를 시사합니다. 즉, 억제되지 않은 AI의 성장 열풍은 끝났습니다. 깃허브(GitHub)와 같은 일부 AI 공급업체는 이제 고정 구독료 대신 토큰당 요금을 고객에게 부과하고 있으며, 이로 인해 일부 기업들은 토큰을 급속도로 소진하고 있습니다. 우버(Uber)는 최근 직원들의 클로드 코드(Claude Code) 및 커서(Cursor)와 같은 AI 도구 사용에 상한선을 설정했습니다. 이는 우버가 직원들에게 가능한 한 많이 AI를 사용하라고 지시했고, 우버의 최고기술책임자(CTO)가 회사의 전체 AI 예산을 단 4개월 만에 모두 소진했다고 밝힌 이후에 나온 조치입니다. 또한 액센추어 자체적으로도 수직급 직원들에게 AI 사용을 의무화하지 않을 경우 승진에서 불이익을 받을 수 있다고 요구하기 시작한 것으로 전해졌습니다.
또한 이러한 상황은 엄청난 양의 코드를 생성하는 수퍼 엔지니어들이 AI 붐을 이끌고 있다는 기존의 인식을 반박합니다. 많은 경우, 비전문적인 작업을 위해 토큰을 태우는 것은 비기술직 직원들입니다.
💡 기술 기업 내부의 토큰 지출에 대해 추가로 아시는 것이 있나요? 제보를 환영합니다. 업무용 기기가 아닌 개인 기기를 이용해 Signal(joseph.404)로 안전하게 메시지를 보내주시거나 joseph@404media.co로 이메일을 보내주시기 바랍니다.
404 미디어가 입수한 녹음 파일에 따르면, 액센추어의 에이전틱 AI(Agentic AI) 전략 총괄인 저스틱 콕(Justice Kwak)은 최근 내부 회의에서 다음과 같이 말했습니다. "적어도 내부 데이터를 보면 실제로 토큰 소비를 주도하는 것은 엔지니어가 아닙니다. 앞서 말씀하신 그런 행동을 하는 것은 엔지니어가 아닌 다른 직군의 사람들입니다."
회의 도중 콕과 에두아르도 살라만카 데 디에고(Eduardo Salamanca de Diego, 해당사 고급 AI 센터 제품 관리 수석 매니저)는 '토큰 옵스(Token Ops)'라는 주제로 발표를 시작했습니다. 콕은 요즘 사람들이 슬라이드를 잘 사용하지 않는다는 것을 알지만, 준비한 슬라이드가 있다고 말합니다. 그가 발표를 준비하는 듯한 모습을 보이자, 액센추어의 클라이언트 그룹 총괄인 스튜어트 헨더슨(Stuart Henderson)이 끼어듭니다. 그는 콕이 방금 PDF를 이미지로 변환한 다음 마크다운(markdown) 파일로 변환한 것이 아니기를 바란다고 농담했습니다.
헨더슨은 "PDF를 마크다운으로 변환하는 것이 큰 토큰 소모처 중 하나라는 것을 알게 되었습니다. 맞나요?"라고 말합니다. 이에 콕은 액센추어 자체 데이터가 이를 뒷받침한다고 답합니다.
그는 "우리가 지금 보고 있는 것은 AI 토큰 지출의 급격한 증가입니다."라고 말합니다. "기업들이 단순한 챗봇에서 벗어나 에이전틱 워크플로우와 자동화가 포함된 사례로 확장하기 시작하고, 코파일럿(Copilot), 클로드 코드(Claude Code), 코덱스(Codex)와 같은 도구를 기업 전체에 배치함에 따라, 우리는 AI가 비용 구조에 중대한 영향을 미치는 변곡점에 도달하고 있습니다. 지출은 매우 예측 불가능해지고 있으며, 특히 최고재무책임자(CFO), 최고운영책임자(COO), 최고정보책임자(CIO) 수준의 리더십은 여전히 우리가 AI에 지출한 비용에 대해 제대로 된 가치를 얻고 있는지 묻고 있습니다."
그는 "이것은 정말 일부에서만 나타나는 문제가 아닙니다. AI에 대해 긍정적인 기업이라면 아직 겪지 않았더라도 모든 기업이 직면하게 될 문제입니다."라고 덧붙입니다. "점점 더 많은 사람들이 AI를 사용하기 시작하면서" 토큰 지출의 규모는 기하급수적으로 증가하고 있습니다.
콕은 액센추어가 기업들에게 최대한 빨리 AI를 도입하도록 유도한 이후, 액센추어와 고객사 모두의 대부분 영역에서 AI가 규모를 갖추게 되었다고 말합니다. 하지만 그 규모의 확장은 고객사와 관련하여 액센추어에게 '토큰 경제학(Token economics)'을 진지하게 고민할 수 있는 새로운 기회를 제공하기도 합니다. 콕은 전체 AI 지출 청구서는 눈에 보이지만, 토큰 수준에서 발생한 그 AI 지출이 AI가 사용되는 프로젝트의 가치 창출 결과와 어떻게 연결되는지는 보이지 않는다고 설명합니다.
결국 "통제 장치가 도입되는 시점이 너무 늦었습니다." 예산 책정이나 차등 등급 적용과 같이 누군가가 토큰에 많은 돈을 쓰는 것을 막을 수 있는 조치들이 말입니다. 파이낸셜 타임즈(Financial Times)가 액센추어의 AI 도입 강제 및 승진 불이익 정책을 보도한 후, 액센추어의...