Hacker News • 39일 전

거대 AI 모델의 치명적 함정: GPT-5.5, 환각 증가

IMP

8/10

핵심 요약

최근 AI 업계는 모델 크기를 무작정 키우는 방식에 대한 회의론이 커지고 있으며, 파라미터 수가 적은 오픈소스 모델(GLM-5.2)이 거대 폐쇄형 모델들(GPT-5.5 등)과 비슷한 성능을 내면서도 환각 현상(Hallucination)은 훨씬 적게 발생한다는 분석이 나왔습니다. 특히 거대 모델들이 방대한 데이터를 학습하며 '모르는 것'을 잊어버리고 자신감 있게 거짓 정보를 생성하는 경향이 두드러지며, 이는 실제 코딩 및 기술적 문제 해결에 있어 심각한 한계로 지적되고 있습니다.

번역된 본문

더 큰 모델이 정답은 아니다 (2026년 6월 18일)

주요 AI 연구소들 사이에서 끝없는 파라미터 증가와 학습 데이터 확장에 대한 회의적인 시각이 커지며 변화의 바람이 일고 있습니다. 이 패러다임의 한계는 Claude Fable 5가 출시된 지 겨우 3일 만에 국가 안보를 이유로 미국 정부의 제재를 받으면서 전 세계적으로 조명되었습니다. 이는 국가 안보를 이유로 한 미국 최초의 AI 금지 조치였으며, 단 하나의 탈옥(Jailbreak) 위험이 너무 크다고 판단되어 세계에서 가장 거대한 모델 중 하나가 금지된 것입니다.

더 큰 것이 더 낫다 위 명제는 거의 모든 경우에 해당합니다. 인공 분석 지능 지수(Artificial Analysis Intelligence Index)에서 세계에서 가장 거대한 모델들이 분명히 가장 높은 점수를 기록하고 있기 때문입니다. 그러나 Z.ai의 최신 모델인 GLM-5.2(파라미터 753B, 활성화 약 40B)는 GPT-5.5와 불과 4점, Fable 5와는 9점 차이에 불과했습니다. Opus 4.8와 GPT-5.5는 독점적이며 보수적으로 잡아도 파라미터 수가 1~~2T(조) 범위인 것으로 추정됩니다. 만약 오픈 웨이트(MIT 라이선스)를 채택한 LLM이 자신보다 1.5~~2배 더 큰 것으로 추정되는 폐쇄형 모델에 이토록 가까이 다가갈 수 있다면, 실제 지능 수준은 이미 상당히 정체(Plateau)되었다고 볼 수 있습니다.

더 큰 것이 더 낫지는 않다 모델이 대량의 매우 사실적이고 비이론적인 데이터로 학습될 때, 항상 답변을 내놓도록 학습된다는 것이 증명되었습니다. DeepSeek V4 Pro(파라미터 1.6T, 활성화 49B, AA 지능 지수 44점)는 AA-Omniscience 벤치마크에서 터무니없이 높은 94%의 환각 점수를 기록했습니다. 이는 풀지 못한 문제에 대해 단 6% 정도만 모른다고 인정할 뿐, 나머지에서는 자신만만하게 환각(Hallucination)에 기대어 답을 지어낸다는 뜻입니다. GLM-5.2는 28%의 환각률을 기록했고, Opus 4.8은 36%, Fable 5는 48%, 그리고 GPT-5.5는 무려 86%를 기록했습니다. 이처럼 거대하고 인기 있는 모델에게 이러한 수치는 믿기 어려울 정도로 가혹해 보입니다.

명확한 아키텍처 결함이 있는 비교적 복잡한 파이썬 문제로 테스트를 해보겠습니다.

1 DeepSeek V4 Pro - 환각 발생 파이썬에서 get_child_watcher()를 오버라이드하는 커스텀 asyncio 이벤트 루프 정책을 설계하세요. (전체 프롬프트 확장) 3분 52초 동안 추론 (7.7k 토큰) Python import os import fcntl import threading import struct import asyncio import time from asyncio import AbstractChildWatcher class StateManager: (전체 완성본 확장)

GLM-5.2 - 정답 파이썬에서 get_child_watcher()를 오버라이드하는 커스텀 asyncio 이벤트 루프 정책을 설계하세요. (전체 프롬프트 확장) 12초 동안 추론 (799 토큰) 아래는 바로 프로덕션에 적용할 수 있는 완성된 구현입니다. 설명하신 제약 조건이 특이하며, 이를 문자 그대로 해석하면 문제가 발생하므로 몇 가지 중요한 엔지니어링 참고 사항을 먼저 말씀드립니다. "asyncio.create_task 없이, 그리고 순수 select/poll 없이 수행되는 원자적이고 양보하지 않는 읽기 루프..." 이벤트 루프 스레드에서 실행되는 양보하지 않는 루프는 루프를 차단하므로 모든 서브프로세스 메커니즘을 교착 상태에 빠뜨리게 됩니다... (전체 완성본 확장)

DeepSeek V4 Pro는 거의 10배에 달하는 추론 토큰을 사용했음에도 자신감 넘치게 잘못된 답변을 생성했습니다. 반면 GLM-5.2는 단 12초와 약 800개의 추론 토큰만으로, 양보하거나 시스템 폴링을 전혀 사용하지 않고 단일 스레드 작업이 다중화된 I/O를 실행하는 기술적 불가능성을 인식했습니다. (비전문가를 위해 비유하자면, 이는 택배 기사에게 트럭을 멈추지 않고 3곳의 집에 동시에 택배를 배달하라고 요청하는 것과 같습니다.)

GPT-5.5와 DeepSeek V4 Pro는 절대적으로 거대한 크기에도 불구하고 가장 명백하게 환각을 유발하는 대표적인 모델 두 개입니다. 그들의 엄청난 크기 때문에 오히려 "모르겠다"고 말하는 법을 배우지 못했거나, 복잡한 논리적·기술적 오류를 인식하지 못하는 것입니다. (적어도 오늘날 종이 위에서는) 수조 개의 파라미터를 가진 모델이 항상 가벼운 소비자용 모델을 이기는 것은 사실이지만, 이러한 거대 모델들의 대중화는 벤치마크 성능과 실제 현실 세계의 진실성 및 정확성 사이의 경계를 흐려지게 만들고 있습니다.

현대 AI의 트릴레마(삼중고) 우리는 추론 예산, 말뭉치(Corpus) 크기 또는 파라미터 수를 맹목적으로 증가시키는 것에 매우 조심해야 합니다. DeepSeek V4 Pro는 3분 26초 동안 추론 루프에서 컴퓨팅 자원을 낭비(원본 추론 과정 확인 가능)하면서, 결국 아름답게 구조화되어 있지만 확신에 찬 거짓말...

원문 보기

원문 보기 (영어)

Bigger models are not the way Jun 18, 2026 A shift is happening among major AI labs, who are becoming increasingly skeptical of endless parameter count and training data scaling. The limits of this paradigm were put on the world’s stage when Claude Fable 5 was restricted by the US government just three days after its release, marking the first US AI ban stemming from national security. One of the biggest models in the world was banned because a single jailbreak was too much of a risk. Bigger is better The above is true in almost all cases. The biggest models in the world clearly score the highest on the Artificial Analysis Intelligence Index. Yet, Z.ai’s newest, GLM-5.2 (753B parameters, roughly 40B active), comes within just 4 points of GPT-5.5 and 9 points of Fable 5 . Opus 4.8 and GPT-5.5 are proprietary and estimated to be in the 1-2T parameter range conservatively. If an open weight ( MIT licensed ) LLM can come so close to a closed weight model estimated to be 1.5 to 2 times bigger, it is clear that actual intelligence has plateaued significantly. Bigger is not better It’s been proven that when a model is trained on large volumes of highly factual and non-theoretical data, it learns to always have an answer. DeepSeek V4 Pro (1.6T params, 49B active, 44 AA Intelligence Index score) has a ludicrous 94% hallucination score on the AA-Omniscience benchmark, meaning on questions that it couldn’t figure out, it only stated that it didn’t know around 6% of the time, and the rest it confidently hallucinated an answer. GLM-5.2 scored a 28% hallucination rate, Opus 4.8 was 36%, Fable 5 was 48%, and GPT-5.5 was 86%. That seems incredibly rough for such a huge, popular model. Let’s test it with a relatively complex Python question with a clear architectural flaw. 1 DeepSeek V4 Pro - Hallucinated Design a custom asyncio event loop policy in Python that overrides get_child_watcher(). Expand full prompt Reasoned for 3m 52s (7.7k tokens) Python import os import fcntl import threading import struct import asyncio import time from asyncio import AbstractChildWatcher class StateManager: Expand full completion GLM-5.2 - Correct Design a custom asyncio event loop policy in Python that overrides get_child_watcher(). Expand full prompt Reasoned for 12s (799 tokens) Below is a complete, production-ready implementation. A few important engineering notes up front, because the constraints you describe are unusual and a literal interpretation would be unsound: "Atomic, non-yielding read loop ... without asyncio.create_task and without raw select/poll." A non-yielding loop executed on the event loop thread would block the loop and therefore deadlock any subprocess machinery... Expand full completion DeepSeek V4 Pro used almost 10 times the reasoning tokens yet produced a confidently incorrect response. On the other hand, it took GLM-5.2 just 12 seconds and about 800 reasoning tokens to recognize the technical impossibility of a single-threaded task executing multiplexed I/O without ever yielding or utilizing system polling. (For the non technical, this is like asking a delivery driver to drop off packages at 3 houses at the same time without ever stopping the truck.) GPT-5.5 and DeepSeek V4 Pro are two of the clearest hallucination leaders, despite being absolutely huge. Because of their immense size they simply did not learn how to say “I don’t know” or recognize intricate logical and technical fallacies. While it is true that a multi-trillion parameter model will always beat a lightweight consumer model on paper (today at least), the commoditization of these huge models is blurring the line between benchmark performance and actual real-world truthfulness and accuracy. The trilemma of modern AI We should be very cautious about blindly increasing reasoning budget, corpus size, or parameter count. DeepSeek V4 Pro spent 3 minutes and 26 seconds wasting compute in a reasoning loop ( raw reasoning here ) just to generate a beautifully structured, confidently incorrect solution. Yet, a model half its size identified the paradox almost instantaneously. Even in today’s era as we near AGI, many of the biggest models will actively convince you that a solution is correct and that the problem was solvable as stated. Moving forward, the industry cannot continue to train bigger and bigger models since their intelligence not only plateaus but often will get worse. This applies for the consumer too, since we cannot continue to select models based on size or theoretical performance alone. Training and selection of AI needs to be designed around the unsolved trilemma of modern LLMs: raw capability, uncertainty calibration/hallucination rate, and computational efficiency. Footnotes Both models were given “high” reasoning effort, temperature 1, tested on OpenRouter, with the following system prompt: “You respond professionally. You are a highly capable coding assistant well-versed in Python.” GLM-5.2 was served by Z.ai (FP8 precision) and DeepSeek V4 Pro was served by Baidu Qianfan (FP8 precision). ↩

AI 모델 환각 현상 오픈소스 GLM-5.2 GPT-5.5