The Decoder • 28일 전

오픈AI, 게스트 ChatGPT 응답 비용 절반 이상 감소

IMP

8/10

핵심 요약

오픈AI는 최적화 기술을 통해 계정이 없는 게스트 사용자의 인퍼런스 비용을 절반 이상으로 줄이는 데 성공했습니다. 이에 따라 해당 사용자에게 서비스를 제공하는 데 필요한 엔비디아 GPU 수가 단 수백 개로 급감했으며, 확보된 리소스는 향후 서비스 확장이나 더 나은 모델 개발에 투입될 전망입니다. 데이터센터 구축이 더딘 상황에서 이러한 효율 개선은 AI 모델의 인퍼런스 비용(Inference cost) 절감이라는 실무적으로 매우 중요한 의미를 갖습니다.

번역된 본문

오픈AI, 게스트 ChatGPT 사용자의 응답 비용을 절반 이상 절감하다 Matthias Bastian | 2026년 6월 30일

정보통에 따르면, 오픈AI의 엔지니어들은 이달 초 동료들에게 기존 AI 모델을 구동하는 데 드는 비용인 인퍼런스 비용(Inference cost)을 절반 이상으로 줄였다고 밝혔습니다. 이는 논의에 정통한 소식통이 전한 내용으로 The Information이 보도했습니다.

오픈AI는 이러한 새로운 최적화 기법을 ChatGPT에 적용했으며, 구체적으로는 계정이 없는 방문자(게스트)들을 대상으로 시행했습니다. 이들을 서비스하는 데 필요한 엔비디아 GPU의 수는 단 몇백 개로 줄어들었습니다. 이전에 GPU가 얼마나 필요했는지, 혹은 오픈AI가 이 결과를 얻기 위해 어떤 기술을 사용했는지는 아직 명확히 알려지지 않았습니다.

게스트 사용자는 ChatGPT의 매우 제한된 기능에만 접근할 수 있으므로, 이러한 효율 개선이 전체 제품으로 확장될 수 있을지는 미지수입니다. 한편, 딥시크(DeepSeek) 역시 인퍼런스 요청 속도를 60~85% 향상시킬 수 있는 새로운 오픈소스 방식을 최근 공개했습니다.

이렇게 여유가 생긴 리소스는 서비스 확장, 더 나은 모델 개발, 더 빠른 응답 속도 또는 더 높은 수익성을 위해 사용될 수 있습니다. 하지만 현재 데이터센터 구축이 더디게 진행되고 있기 때문에, 이와 같은 효율 개선은 반도체 수요를 줄이기보다는 AI 연구소들에 더 많은 운영 여유를 제공하는 방향으로 작용할 가능성이 높습니다.

[광고] AI 뉴스의 과장 없이 핵심만 전달합니다. 사람이 직접 엄선한 THE DECODER의 뉴스레터를 구독하세요. 광고 없는 읽기 환경, 주간 AI 뉴스레터, 연 6회 발행되는 독점 프론티어 보고서 'AI Radar', 전체 아카이브 열람 및 댓글 기능을 제공합니다.

출처: The Information

원문 보기

원문 보기 (영어)

OpenAI reportedly cut response costs for guest ChatGPT users by more than half Matthias Bastian View the LinkedIn Profile of Matthias Bastian Jun 30, 2026 OpenAI engineers told colleagues earlier this month that they'd managed to cut inference costs—the expense of running existing AI models—by more than half. That's according to a person familiar with the discussions, as reported by The Information . OpenAI applied the new optimizations to ChatGPT, specifically for visitors who don't have an account. The number of Nvidia GPUs needed to serve those users dropped to just a few hundred. It's not clear how many were required before or what techniques OpenAI used to pull it off. Guest users can only access a very limited set of ChatGPT features, so whether these gains would carry over to the full product is an open question. Deepseek also just dropped a new open-source method that can speed up inference requests by 60 to 85 percent. The freed-up resources could go toward scaling services, better models, faster responses, or bigger margins. But since data center buildouts are moving slowly, gains like these will probably give labs more breathing room rather than cut into chip demand. Ad DEC_D_Incontent-1 Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: The Information Ask about this article… Search

오픈AI 인퍼런스 비용 GPU 비용 최적화 ChatGPT