메뉴
BL
404 Media 35일 전

기업 AI 토큰 비용 폭발… 비용 통제에 비상 걸렸다

IMP
8/10
핵심 요약

최근 글로벌 기업들이 무분별한 AI 도입으로 인해 감당하기 힘든 '토큰 비용' 폭탄을 맞고 있습니다. 특히 전문 개발자보다 PDF 변환 같은 단순 작업을 하는 비개발 직군이 토큰을 크게 소모하는 것으로 나타났습니다. 이에 우버 등 주요 기업들이 AI 도구 사용량을 제한하거나 토큰 예산을 통제하는 등 비용 절감에 나서고 있습니다.

번역된 본문

404 미디어가 입수한 내부 녹음 파일에 따르면, 컨설팅 거대 기업 액센추어(Accenture)는 비기술직 직원들이 PDF를 프레젠테이션 슬라이드로 변환하는 것과 같은 단순 작업에 회사의 AI 토큰 예산을 낭비하는 것을 막기 위해 고군분투하고 있습니다. 녹음 내용에 따르면 액센추어는 산업 전반에 걸쳐 '토큰 지출의 급증'을 목격하고 있습니다.

이 뉴스는 기술 산업과 AI를 사용하는 다른 기업들의 주요 변화를 시사합니다. 즉, 억제되지 않은 AI의 성장 열풍은 끝났습니다. 깃허브(GitHub)와 같은 일부 AI 공급업체는 이제 고정 구독료 대신 토큰당 요금을 고객에게 부과하고 있으며, 이로 인해 일부 기업들은 토큰을 급속도로 소진하고 있습니다. 우버(Uber)는 최근 직원들의 클로드 코드(Claude Code) 및 커서(Cursor)와 같은 AI 도구 사용에 상한선을 설정했습니다. 이는 우버가 직원들에게 가능한 한 많이 AI를 사용하라고 지시했고, 우버의 최고기술책임자(CTO)가 회사의 전체 AI 예산을 단 4개월 만에 모두 소진했다고 밝힌 이후에 나온 조치입니다. 또한 액센추어 자체적으로도 수직급 직원들에게 AI 사용을 의무화하지 않을 경우 승진에서 불이익을 받을 수 있다고 요구하기 시작한 것으로 전해졌습니다.

또한 이러한 상황은 엄청난 양의 코드를 생성하는 수퍼 엔지니어들이 AI 붐을 이끌고 있다는 기존의 인식을 반박합니다. 많은 경우, 비전문적인 작업을 위해 토큰을 태우는 것은 비기술직 직원들입니다.

💡 기술 기업 내부의 토큰 지출에 대해 추가로 아시는 것이 있나요? 제보를 환영합니다. 업무용 기기가 아닌 개인 기기를 이용해 Signal(joseph.404)로 안전하게 메시지를 보내주시거나 joseph@404media.co로 이메일을 보내주시기 바랍니다.

404 미디어가 입수한 녹음 파일에 따르면, 액센추어의 에이전틱 AI(Agentic AI) 전략 총괄인 저스틱 콕(Justice Kwak)은 최근 내부 회의에서 다음과 같이 말했습니다. "적어도 내부 데이터를 보면 실제로 토큰 소비를 주도하는 것은 엔지니어가 아닙니다. 앞서 말씀하신 그런 행동을 하는 것은 엔지니어가 아닌 다른 직군의 사람들입니다."

회의 도중 콕과 에두아르도 살라만카 데 디에고(Eduardo Salamanca de Diego, 해당사 고급 AI 센터 제품 관리 수석 매니저)는 '토큰 옵스(Token Ops)'라는 주제로 발표를 시작했습니다. 콕은 요즘 사람들이 슬라이드를 잘 사용하지 않는다는 것을 알지만, 준비한 슬라이드가 있다고 말합니다. 그가 발표를 준비하는 듯한 모습을 보이자, 액센추어의 클라이언트 그룹 총괄인 스튜어트 헨더슨(Stuart Henderson)이 끼어듭니다. 그는 콕이 방금 PDF를 이미지로 변환한 다음 마크다운(markdown) 파일로 변환한 것이 아니기를 바란다고 농담했습니다.

헨더슨은 "PDF를 마크다운으로 변환하는 것이 큰 토큰 소모처 중 하나라는 것을 알게 되었습니다. 맞나요?"라고 말합니다. 이에 콕은 액센추어 자체 데이터가 이를 뒷받침한다고 답합니다.

그는 "우리가 지금 보고 있는 것은 AI 토큰 지출의 급격한 증가입니다."라고 말합니다. "기업들이 단순한 챗봇에서 벗어나 에이전틱 워크플로우와 자동화가 포함된 사례로 확장하기 시작하고, 코파일럿(Copilot), 클로드 코드(Claude Code), 코덱스(Codex)와 같은 도구를 기업 전체에 배치함에 따라, 우리는 AI가 비용 구조에 중대한 영향을 미치는 변곡점에 도달하고 있습니다. 지출은 매우 예측 불가능해지고 있으며, 특히 최고재무책임자(CFO), 최고운영책임자(COO), 최고정보책임자(CIO) 수준의 리더십은 여전히 우리가 AI에 지출한 비용에 대해 제대로 된 가치를 얻고 있는지 묻고 있습니다."

그는 "이것은 정말 일부에서만 나타나는 문제가 아닙니다. AI에 대해 긍정적인 기업이라면 아직 겪지 않았더라도 모든 기업이 직면하게 될 문제입니다."라고 덧붙입니다. "점점 더 많은 사람들이 AI를 사용하기 시작하면서" 토큰 지출의 규모는 기하급수적으로 증가하고 있습니다.

콕은 액센추어가 기업들에게 최대한 빨리 AI를 도입하도록 유도한 이후, 액센추어와 고객사 모두의 대부분 영역에서 AI가 규모를 갖추게 되었다고 말합니다. 하지만 그 규모의 확장은 고객사와 관련하여 액센추어에게 '토큰 경제학(Token economics)'을 진지하게 고민할 수 있는 새로운 기회를 제공하기도 합니다. 콕은 전체 AI 지출 청구서는 눈에 보이지만, 토큰 수준에서 발생한 그 AI 지출이 AI가 사용되는 프로젝트의 가치 창출 결과와 어떻게 연결되는지는 보이지 않는다고 설명합니다.

결국 "통제 장치가 도입되는 시점이 너무 늦었습니다." 예산 책정이나 차등 등급 적용과 같이 누군가가 토큰에 많은 돈을 쓰는 것을 막을 수 있는 조치들이 말입니다. 파이낸셜 타임즈(Financial Times)가 액센추어의 AI 도입 강제 및 승진 불이익 정책을 보도한 후, 액센추어의...

원문 보기
원문 보기 (영어)
Consulting giant Accenture is trying to figure out how to stop non-technical workers from blowing through companies’ AI token budget on trivial tasks like converting PDFs to presentation slides, according to leaked audio obtained by 404 Media. Across the industry Accenture is seeing “soaring token spend,” according to the audio. The news highlights a major shift in the tech industry and other companies that use AI: the wave of uninhibited AI growth is over. Some AI providers like GitHub are now charging customers per token rather than a flat subscription fee, leading some companies to burn through their tokens. Uber recently capped employees’ use of AI tools like Claude Code and Cursor; that came after Uber told employees to use AI as much as possible and Uber’s CTO said the company had blown its entire AI budget in four months. And Accenture itself reportedly started requiring senior staff to start using AI or risk losing out on promotions. It also undercuts the narrative that superpowered engineers generating mountains of code are behind the AI boom. In many cases it is non-technical staff burning through tokens for non-specialized tasks. 💡 Do you know anything else about token spend inside tech companies? I would love to hear from you. Using a non-work device, you can message me securely on Signal at joseph.404 or send me an email at joseph@404media.co. “We’re seeing from some of the data internally at least that it’s actually not our engineers that are driving the token consumption. It’s a lot of the non-engineers that are doing some of those behaviors [...] you were talking about,” Justice Kwak, Accenture’s agentic AI strategy lead, said in a recent internal meeting, according to the audio obtained by 404 Media. At one point in the meeting, Kwak and Eduardo Salamanca de Diego, senior manager of product management at the company’s Center for Advanced AI, start presenting about what is described as “token ops.” Kwak says he knows people aren’t using slides these days, but he has some. As he appears to be preparing to present, Stuart Henderson, Accenture’s client group lead, interrupts. He jokes he hopes Kwak didn’t just convert a PDF into images and then into markdown files. “I’m learning that’s one of the big token chewers,” Henderson says. “Turning PDFs into markdown: is that right?” That’s when Kwak says that’s what Accenture’s own data shows. “What we’re seeing right now is just rapid escalation in AI token spend,” he says “As companies start to scale AI, moving from like simple chatbots into use cases that feature agentic workflows and automation and then enterprise-wide deployment of some of these tools like Copilot, Claude Code, and Codex, we’re hitting this inflection point where AI is becoming material to the cost structure; spend is becoming very unpredictable; and leadership, especially at the CFO, COO, and CIO level, are still asking the question of whether they’re getting value from what we’re spending on in the context of AI.” “It’s really not a niche problem. It is a problem that every enterprise will face if they are bullish on AI, if they haven’t already,” he adds. The amount of token spending is increasing “exponentially, as more and more people are starting to use AI.” Kwak says after Accenture tried to get enterprises to adopt AI as quickly as possible, AI has reached scale in most areas in both Accenture and its clients. But with that scale is a new opportunity for Accenture regarding its clients: “to really think about token economics.” The bill of the overall AI spend is visible, Kwok explains, but attributing that AI spend at the token level to the value outcomes on the projects where AI is being used is not visible. Finally, the “controls are just arriving too late.” Those are things that might stop someone spending a bunch of money on tokens, like budgeting or different tiers. Following the Financial Times’ reporting of Accenture’s policy to force AI adoption or risk missing promotions, an Accenture spokesperson told CNBC , “Our strategy is to be the reinvention partner of choice for our clients and to be the most client-focused, AI-enabled, great place to work. That requires the adoption of the latest tools and technologies to serve our clients most effectively.” Kwak says Accenture plans to formally launch a product called “Token IQ” soon. Accenture did not respond to a request for comment. As 404 Media has reported, some startups have bragged about how much they’ve spent on AI instead of human workers. Walmart also capped its staff’s use of AI tools following high demand. About the author Joseph is an award-winning investigative journalist focused on generating impact. His work has triggered hundreds of millions of dollars worth of fines, shut down tech companies, and much more. More from Joseph Cox