AI 성능 비용, 역대 어떤 기술보다 빠르게 하락
연구기관 Epoch AI는 특정 벤치마크 점수에 도달하는 비용이 분기당 평균 47%, 연간 약 13배씩 떨어지고 있다고 분석했습니다. 그러나 MIT 연구진은 하드웨어 저렴화와 경쟁 요인을 제거하면 순수 알고리즘 효율 개선은 연간 약 3배에 그친다고 지적합니다. 이는 가격 하락이 전부 실질적 기술 진보를 반영하는 것은 아니며, 모델 선택 시 벤치마크 점수만으로 판단할 수 없음을 시사합니다.
연구기관 Epoch AI는 특정 벤치마크 점수에 도달하는 비용이 분기당 평균 47%, 연간 약 13배씩 떨어지고 있다고 분석했습니다. 그러나 MIT 연구진은 하드웨어 저렴화와 경쟁 요인을 제거하면 순수 알고리즘 효율 개선은 연간 약 3배에 그친다고 지적합니다. 이는 가격 하락이 전부 실질적 기술 진보를 반영하는 것은 아니며, 모델 선택 시 벤치마크 점수만으로 판단할 수 없음을 시사합니다.
Anthropic이 2026년 9월 출시한 독점 모델 Claude Opus 5.5(적응형 추론, 최대 노력)이 Artificial Analysis 지능 지수 58점으로 동급 모델 중 1위를 차지했습니다. 다만 가격은 입력 100만 토큰당 4달러, 출력 100만 토큰당 20달러로 중앙값보다 비싸고, 평가 중 2억 6천만 토큰을 생성해 상당히 장황한 편입니다. 텍스트와 이미지 입력을 지원하며 컨텍스트 창은 100만 토큰입니다.
개발자들이 AI 모델을 제품에 연결하는 플랫폼 오픈라우터(OpenRouter)의 주간 토큰 소비량이 2025년 1월 이후 25,000% 이상 급증해 0.5조에서 126.2조 토큰에 도달했습니다. 그러나 이는 실제 사용량이나 비즈니스 가치의 증가라기보다, 추론 모델의 '생각' 토큰과 비효율적인 에이전틱 AI 시스템이 토큰 통계를 부풀린 결과라는 분석입니다.
테크크런치가 급변하는 AI 분야에서 자주 접하게 되는 핵심 용어들을 쉬운 언어로 정리한 용어집을 소개했습니다. AGI, AI 에이전트, API 엔드포인트, 사고의 연쇄(Chain of thought) 등 실무자와 투자자가 반드시 알아야 할 개념들을 설명하며, 지속적으로 업데이트되는 살아있는 문서로 운영됩니다.
앤스로픽의 Claude Fable 5.1이 1653년 토머스 어커트 경이 발표한 수수께끼 'Cyphral Distich'를 사람의 도움 없이 44분 만에 해독했습니다. 각 숫자가 책의 32개 섹션에 있는 단어를 가리키는 방식으로, 첫 글자를 이으면 찰스 2세 국왕을 옹호하는 메시지가 나타났습니다. Vals AI에 따르면 성공의 열쇠는 뛰어난 암호 해독 능력이 아니라 체계적인 시행착오와 끈기였습니다.
OpenAI의 새 모델 Astra가 '재귀적 깊이(recurrent depth)'라 불리는 '불투명한 재귀(opaque recurrence)' 기법을 도입하면서, 사고 과정(Chain of Thought) 모니터링이 어려워질 수 있다는 우려가 커지고 있습니다. AI 안전 전문가들은 이 기법이 확대될 경우 AI 추론을 감시할 방법이 사라질 수 있다며 경고하고 있으며, Anthropic과 Google DeepMind도 해당 기법을 논의 중인 것으로 알려졌습니다.
IBM이 Apache 2.0 라이선스의 오픈 추론 언어모델 Granite 4.2를 3B/8B/30B 크기로 공개했습니다. 모든 모델에 '사고(thinking)/저노력(low-effort)/비사고(non-thinking)' 모드 전환과 네이티브 도구 호출 기능이 포함되며, 8B와 30B는 샌드박스 환경에서 코드 편집·터미널 조작·웹 검색을 학습한 에이전틱 강화학습(RL)을 거쳤습니다. 30B 모델은 SWE-Bench Verified에서 57.00, Terminal-Bench 2.1에서 29.24를 기록했습니다.
정체가 베일에 싸인 AI 모델 'Ox Alpha'가 OpenRouter에 무료 공개되며 인터넷에서 개발자 추측 열기가 뜨겁다. 이 모델은 코딩, 지속적인 에이전트 작업, 프로덕션 워크로드용 추론 모델로 소개됐으며, Stripe CEO도 '매우 인상적'이라 평가했다. 현재 중국 Z.ai의 GLM 모델이라는 설과 마이크로소프트의 미공개 MAI 버전이라는 설 등이 난무하고 있다.
OpenRouter 분석에 따르면 2025년 2월 6일이 인간이 AI보다 더 많은 토큰을 소비한 마지막 날이었을 수 있습니다. 이후 AI 에이전트의 토큰 사용량은 14배 증가한 반면 인간 사용량은 2.8배 증가에 그쳤습니다. 다만 약 70%가 저렴한 캐시 프롬프트에서 나오므로 실제 비용 증가는 수치만큼 크지 않습니다.
최근 컴퓨터 과학자들이 최첨단 AI 모델이 문제를 해결하는 과정에서 숨겨두는 '사고 과정(Chain of Thought)'을 추출하는 새로운 기법을 발견했습니다. 연구진은 이 방법을 통해 숨겨진 추론 과정뿐만 아니라 API 키나 비밀번호 같은 민감한 개인정보를 가로챌 수 있음을 증명했습니다. 더불어 일부 중국 AI 모델(미니백 K3 등)의 사고 패턴이 미국 최상위 모델들과 기묘할 정도로 유사하여 '지식 증류(Distillation)'를 통해 복제했을 가능성이 있다는 정황도 제시했습니다.
전 오픈AI CTO 미라 무라티의 AI 연구소 씽킹 머신스(Thinking Machines)가 두 번째 모델인 '잉클링 스몰(Inkling Small)'을 공개했습니다. 이 모델은 기존 대형 모델 대비 파라미터를 1/3 수준으로 줄였음에도 코딩 및 추론 벤치마크에서 더 뛰어난 성능을 기록하며 압도적인 토큰 효율성을 입증했습니다. 아파치 2.0(Apache 2.0) 라이선스로 가중치가 공개되어 기업들이 자체 데이터로 파인튜닝(fine-tuning)하기에 매우 적합한 모델로 평가받습니다.
최근 대형 추론 모델(LRM)이 수학 올림피아드에서 금메달을 따고 난제를 해결하는 등 엄청난 성과를 보여주고 있지만, 여전히 표면적인 '지름길'에 의존하거나 단순한 문제에서도 쉽게 실패하는 모순된 모습을 보입니다. AI가 실제로 논리적으로 '추론'하는 것인지, 아니면 단순히 시스템의 허점을 파고드는 '착시 현상'에 불과한 것인지에 대한 과학계의 논쟁이 치열하게 진행 중입니다.
대형 언어 모델(LLM)이 단순히 정답만 내놓는 것을 넘어, 문제를 단계적으로 풀고 스스로 오류를 수정하는 '추론 모델(Reasoning Model)'로 발전하는 원리를 설명합니다. 특히 수학이나 코딩과 같이 객관적 검증이 가능한 분야에서 보상을 제공하는 강화학습(RLVR)을 통해 모델이 스스로 깨달음('Aha' 순간)을 얻고 논리적 사고 과정을 학습하는 과정을 다룹니다. 최신 AI 모델들이 사용자의 요구나 작업의 난이도에 따라 '낮음, 중간, 높음' 등 추론 노력(Reasoning Effort)을 조절할 수 있는 배경을 이해하는 데 필수적인 글입니다.
OpenAI 직원이 GPT-5.6 Sol 모델의 5단계 추론 레벨을 작업 복잡도에 따라 어떻게 적용해야 하는지 구체적인 가이드라인을 제시했습니다. 복잡한 다단계 작업에는 하이(High)나 울트라(Ultra, 병렬 서브에이전트 활용)를, 단순 작업에는 라이트(Light)나 로우(Low)를 권장합니다. 추론 레벨 단계가 기존 GPT-5.5와 다르며 비용 효율을 위해 사용자들은 기존보다 한 단계 낮춰 시작할 것을 당부했습니다.
데이터브릭스(DataBricks) 출신의 나빈 라오(Naveen Rao)가 이끄는 스타트업 언컨벤셔널 AI(Unconventional AI)가 발진자 기반의 새로운 컴퓨팅 아키텍처를 제안하며, AI 추론(Inference) 시의 전력 소비를 기존 대비 최대 1/1000 수준으로 줄일 수 있다고 주장했습니다. 회사는 이 혁신적인 아키텍처를 적용해 스테이블 디퓨전(Stable Diffusion)과 같은 기존 최고 수준 이미지 생성 모델들과 동등한 성능을 내는 첫 모델 'Un0'를 공개했습니다. AI 확장의 가장 큰 걸림돌로 꼽히는 막대한 전력 소모와 인프라 비용 문제를 근본적으로 해결할 수 있는 파괴적 기술로 평가받습니다.
마이크로소프트가 '빌드 2026' 행사에서 자체 개발한 7종의 AI 모델과 기업 맞춤형 강화학습 기반의 '프론티어 튜닝(Frontier Tuning)' 기술을 발표했습니다. 특히 이미지 생성 모델은 구글을 제치고 2위를 차지했으며, 1/10의 비용으로 GPT-5.4 수준의 성능을 내는 튜닝 기술이 비용 효율성의 핵심으로 강조되었습니다. 또한 사용자의 업무 패턴을 학습해 백그라운드에서 능동적으로 일정 관리 등을 수행하는 상시 작동 에이전트 '스카우트(Scout)'를 최초로 선보이며 AI 자동화 생태계를 확장했습니다.
마이크로소프트 AI가 소프트웨어 엔지니어링 및 수학 추론 벤치마크에서 최고 수준의 성능을 기록한 중간 크기 모델 'MAI-Thinking-1'을 발표했습니다. 이 모델은 타사 모델의 지식 증류 없이 클린 데이터로 처음부터 학습되었으며, 블라인드 평가에서 Sonnet 4.6보다 높은 선호도를 보였습니다. 적은 추론 자원으로도 코딩 에이전트 및 복잡한 작업 수행에 탁월한 효율성을 보여주는 것이 가장 큰 특징입니다.
마이크로소프트 코파일럿(Copilot)과 구글 제미나이(Gemini) 등의 AI 도구를 기본 설정(자동 모델 선택)으로 사용할 경우, 실제 데이터를 분석하는 대신 학습 과정에서 내재된 편견과 고정관념에 기반해 거짓 결과를 생성하는 치명적인 문제가 발견되었습니다. 실험 결과, 동일한 텍스트 데이터에 국가명 라벨만 다르게 붙였을 뿐인데 AI가 국가별 특성을 전혀 다르게 요약하고 심지어 존재하지 않는 차이를 허위 수치로 제시했습니다. 데이터 분석 등 정확성이 요구되는 작업에서는 기본 모델 대신 스스로 논리적 추론이 가능한 '추론(Reasoning) 모델'로 수동 전환할 수 있는 사용자의 도구 활용 능력이 필수적입니다.
인간 연구자 대신 AI 코딩 에이전트가 스스로 탐색하여 설계한 새로운 AI 추론 제어 알고리즘이 기존 방식들을 능가하는 성능을 보였습니다. 이 알고리즘은 모델의 신뢰도 변화를 동적으로 추적하여 연산 자원을 할당하는 방식으로, 극도로 적은 토큰 사용량(약 70% 절감) 대비 높은 정확도를 달성했습니다. 단 40달러와 160분 만에 인간이 고안해 내기 힘든 독창적인 로직을 자발적으로 찾아냈다는 점에서 자동화된 알고리즘 탐색의 가능성을 입증했다는 평가를 받습니다.
알리바바 클라우드 서밋 2026에서 멀티스텝 에이전트 및 복잡한 코딩 작업에 최적화된 최신 폐쇄형 추론 모델 Qwen3.7-Max가 공개되었습니다. 이 모델은 100만 토큰의 컨텍스트 윈도우를 지원하며, 과학적 추론과 코딩 벤치마크에서 전작 대비 큰 성능 향상을 보였습니다.
오픈AI가 수학계의 거장 폴 에르되시가 1946년에 제기한 지오메트리 미해결 추측을 기각하는 완전히 새로운 증명을 AI 모델이 자율적으로 생성했다고 발표했습니다. 과거 기존 문헌의 해답을 '새로운 풀이'로 오해했던 전철을 밟지 않기 위해, 이번에는 에르되시 문제 웹사이트 관리자인 토마스 블룸 등 저명한 수학자들의 검증과 지지 성명을 동반했습니다. 이번 증명은 수학 전용 시스템이 아닌 범용 추론(reasoning) 모델에서 도출된 점이 핵심이며, 장기적이고 복잡한 논리적 사고가 가능해진 AI의 발전이 향후 물리학, 공학, 의학 등 타 분야에도 지대한 영향을 미칠 것임을 시사합니다.
오픈AI의 범용 추론 모델이 특정 문제에 맞춰 설계되지 않았음에도 80년 된 수학적 가정을 반증하는 증명을 도출했습니다. 증명의 유효성은 검증 단계지만, 최첨단 AI 모델이 단순히 지식을 재생산하는 것을 넘어 새로운 지식 창출에 능동적으로 기여하는 강력한 신호로 평가받고 있습니다.
한 대학생이 프로젝트 보고서 작성을 요청하는 긴 프롬프트를 입력했는데, AI 모델이 사용자의 상태를 분석하는 과정에서 이를 '스트레스받는 10대'로 잘못 인식하여 화제가 되었습니다. 이는 최근 도입된 모델의 확장된 추론(Extended Thinking) 과정이 사용자에게 노출될 때 발생할 수 있는 흥미로운 오작동 사례입니다.
레딧(Reddit)에 엔비디아의 새로운 AI 모델로 추정되는 'Nemotron-3-Nano-Omni-30B-A3B-Reasoning'의 추론 템플릿 코드가 유출되었습니다. 이 코드는 사용자의 프롬프트에 따라 모델의 '생각(Thinking)' 기능을 켜고 끌 수 있는 고급 추론 제어 시스템을 포함하고 있어, 엔비디아가 강력한 오픈소스 추론 모델을 준비하고 있음을 시사합니다.
오픈AI는 GPT-5.5 출시를 계기로 향후 AI 기술 발전 속도가 크게 가속화될 것이라고 발표했습니다. 자쿠브 파초키 수석 과학자는 최근 AI 발전이 의외로 더뎠다며 단기 및 중기적으로 상당한 수준의 개선이 이루어질 것이라고 강조했습니다. 이는 GPT-5.5가 기존 GPT-4o가 o시리즈의 기반이 되었던 것처럼 차세대 고성능 추론 모델의 핵심 토대가 될 것이라는 전망 때문입니다.
오픈AI가 DNA 구조 발견에 기여한 화학자 로잘린드 프랭클린의 이름을 딴 생명과학 특화 추론 모델, GPT-Rosalind를 발표했습니다. 이 모델은 가설 생성, 실험 설계, 단백질 및 유전자 분석 등의 복잡한 연구 워크플로우를 지원하며, 내부 벤치마크에서 기존 최신 모델들을 능가하는 우수한 성능을 입증했습니다. 현재 미국 내 검증된 기업 고객을 대상으로만 연구 미리보기 형태로 제공되며, 공개 생물학 데이터베이스 50여 개와 연동되는 무료 플러그인도 함께 공개되어 실무 연구자들의 작업 효율을 크게 높일 것으로 기대됩니다.
구글 딥마인드가 실제 환경에서 로봇을 제어하는 '인지 뇌' 역할을 하는 발현형 추론(Embodied Reasoning) 모델의 대대적인 업그레이드 버전인 Gemini Robotics-ER 1.6을 발표했습니다. 이 모델은 로봇 공학에 필수적인 시각적/공간적 이해, 작업 계획 수립, 성공 여부 감지 및 계기판 판독 능력을 향상시켜 물리적 AI의 실용성을 한 차원 높였습니다.
스탠퍼드 대학의 새로운 연구에 따르면, 다중 에이전트 시스템의 높은 성능은 단일 에이전트보다 더 많은 컴퓨팅 자원(compute)을 사용하기 때문인 것으로 나타났습니다. 동일한 연산량을 부여했을 때 단일 에이전트가 팀보다 성능이 높거나 동등했지만, 입력 데이터의 오류나 노이즈가 많은 환경에서는 다중 에이전트 팀이 정보 필터링에 유리해 더 나은 성과를 보였습니다.
알리바바의 Qwen 팀은 기존 강화학습의 한계를 극복하고 개별 토큰의 영향력에 따라 보상을 차등 분배하는 새로운 훈련 알고리즘인 FIPO를 발표했습니다. 이를 통해 AI 모델의 추론(사고) 과정이 두 배 이상 길어졌으며, 중간 결과를 스스로 검증하는 능력이 자연스럽게 발현되어 수학 벤치마크에서 정확도가 크게 향상되었습니다. 이 알고리즘은 별도의 가치 모델 없이도 기존 PPO 방식과 맞먹는 성능을 내며, 향후 오픈소스로 공개될 예정입니다.