미 국방부와 육군은 전 직원의 생성형 AI 도입을 장려하며 무제한 토큰을 제공했으나, 예상을 웃도는 사용량으로 인해 불과 한 달 만에 연간 할당량을 소진하고 사용 제한에 나섰습니다. 이는 기업과 공공 기관이 생성형 AI를 무분별하게 도입할 때 발생할 수 있는 막대한 비용과 리소스 관리의 중요성을 보여주는 사례입니다.
메타(Meta)는 내부적인 AI 사용량이 기하급수적으로 증가하면서 2026년까지 수십억 달러의 비용이 발생할 것으로 예상함에 따라, '토큰 토크(Tokenmaxxing)'로 불리는 무분별한 토큰 소모를 제한하고 엄격한 예산 관리에 나섰습니다. 사내 리더보드 경쟁으로 인해 직원들이 불필요하게 AI를 남용하던 관행을 지양하고, 사내 대시보드를 통해 사용량을 모니터링하는 등 비용 통제와 실질적인 업무 효율성 개선에 집중하는 추세입니다.
오픈AI가 코딩 에이전트 '코덱스(Codex)'의 사용 한도 초기화를 사용자가 원할 때 자유롭게 저장하고 사용할 수 있도록 유연성을 강화했습니다. 이는 사용자 편의성을 높이는 조치인 동시에, 막대한 AI 운용 비용 부담 속에서 라이벌인 앤스로픽(Anthropic)의 고객을 유치하기 위해 준비 중인 본격적인 'AI 가격 경쟁'의 신호탄으로 평가됩니다.