Hacker News • 24일 전

GPT-5.5 Codex 추론 토큰 클러스터링이 성능 저하의 원인일 수 있습니다

IMP

8/10

핵심 요약

최근 GPT-5.5 모델이 복잡한 코딩 작업을 수행할 때 추론 토큰(reasoning token)이 특정 수치(516, 1034, 1552)에서 기형적으로 끊기는 현상이 발견되었습니다. 이로 인해 모델의 깊은 사고가 제한되어 고난도 작업에서 정답률이 하락하는 성능 저하가 발생할 가능성이 제기되었습니다.

번역된 본문

이런! 페이지를 로드하는 동안 오류가 발생했습니다. 이 페이지를 새로고침 해주세요.

openai / codex 공개 알림: 알림 설정을 변경하려면 로그인해야 합니다. Fork 14.2k Star 95.5k

GPT-5.5 Codex의 추론 토큰 클러스터링(516/1034/1552)이 복잡한 작업의 성능 저하를 초래할 수 있습니다. #30364 새 이슈 복사 링크 열기

라벨: bug (문제가 발생함), model-behavior (모델이 나타내는 동작과 관련된 이슈), rate-limits (요청 속도 제한, 할당량 및 토큰 사용량 보고와 관련된 이슈)

설명 vguptaa45님이 2026년 6월 27일에 이슈를 열었습니다.

요약: 저는 Codex token_count 메타데이터에서 집중적인 패턴을 발견했습니다. gpt-5.5의 응답이 reasoning_output_tokens(추론 출력 토큰) = 516에서 불균형적으로 많이 집중되어 있으며, 추가적으로 1034와 1552 주변에서도 고정된 경계의 급증이 나타납니다. 이는 모델별로 특정된 현상이며 전반적인 추론 토큰 강도의 감소와 일치합니다. 이는 복잡하고 중요도가 높은 Codex 작업에서 성능이 저하되는 원인을 설명하는 데 도움이 될 수 있습니다. 이 이슈는 #29353과 관련이 있습니다. 해당 이슈에서는 정확히 516개의 추론 토큰에서 종료된 gpt-5.5 실행이 잘못된 답변을 반환하는 작업 수준의 재현 사례가 보고되었습니다. 현재 이슈는 2월부터 6월까지의 더 큰 기간에 걸친 집계된 증거를 추가합니다. 저는 이것이 숨겨진 사고의 연쇄(chain-of-thought) 잘림을 증명한다고 주장하지 않습니다. 좁게는 Codex 원격 측정(telemetry) 데이터가 thresholded reasoning-budget(임계값 기반 추론 예산) 동작과 일치하는 GPT-5.5 특정 고정 토큰 클러스터링 이상 현상을 보여준다는 점입니다.

환경 제품: Codex 가장 연관된 모델: gpt-5.5 데이터 소스: Codex token_count 메타데이터 분석된 기간: 2026년 2월 1일 ~ 6월 27일 UTC 관련 이슈: gpt-5.5 xhigh 모델이 Codex Desktop에서 종종 reasoning_output_tokens=516으로 단락되고 잘못된 최종 답변을 반환함 #29353

증거 지표 / 값 분석된 응답 수준 토큰 기록: 390,195 표현된 세션: 865 정확히 reasoning_output_tokens = 516인 이벤트: 3,363 모든 응답에서 GPT-5.5가 차지하는 비율: 19.3% 정확히 516 토큰 이벤트 중 GPT-5.5가 차지하는 비율: 82.0% GPT-5.5의 exact-516 / >=516 비율: 44.0% GPT-5.5가 아닌 모델들의 exact-516 / >=516 비율: 1.3%

모델 수준의 결과: 모델 / 응답 기록 / Exact 516 / >=516 비율 gpt-5.5 / 75,401 / 44.0% gpt-5.4 / 25,214 / 19.8% gpt-5.2 / 247,575 / 0.34% gpt-5.3-codex / 13,333 / 0.0% gpt-5.3-codex-spark / 26,179 / 0.0%

월별 정확히 516 토큰에 집중되는 현상이 급증했습니다: 월 / Exact 516 / >=516 비율 2026년 2월: 0.11% 2026년 3월: 2.45% 2026년 4월: 4.25% 2026년 5월: 53.30% 2026년 6월: 35.84%

동시에 전반적인 추론 토큰 강도는 감소했습니다: 월 / 평균 추론 토큰 / 상위 90%(P90) 추론 토큰 2026년 2월: 268.1 / 772 2026년 3월: 256.8 / 723 2026년 4월: 228.7 / 669 2026년 5월: 106.9 / 344 2026년 6월: 168.5 / 515

왜 의심스러운가 이 이상 현상은 단순히 전반적인 추론 토큰 사용량이 높은 것이 아닙니다. 평균 및 상위 90%(P90) 추론 토큰 강도는 2월~~4월에서 5월~~6월로 갈수록 감소한 반면, 정확히 516 토큰에 집중되는 현상은 급증했습니다. 클러스터링은 모델 전체에 고르게 분포하지도 않습니다. gpt-5.5는 응답의 19.3%만을 차지하지만 516 토큰 이벤트의 82.0%를 차지합니다. 해당 모델의 정확히 516 토큰 비율은 GPT-5.5가 아닌 모델들의 기준치보다 약 33.6배 더 높습니다. 고정된 값들도 주목할 만합니다. 516, 1034 및 1552는 자연스럽게 변하는 추론 토큰 분포가 아니라 반복되는 임계값 경계처럼 보입니다.

예상되는 동작 복잡한 Codex 작업에 대한 추론 토큰 수는 작업 복잡도에 따라 자연스럽게 달라져야 하며, 특정 모델군에 대해 고정된 정확한 값에 불균형적으로 집중되어서는 안 됩니다.

실제 동작 gpt-5.5 응답은 정확히 516 추론 토큰에서 집중적으로 모이며, 1034 및 1552 주변에서도 관련 급증이 나타납니다. 이 패턴은 다른 여러 모델에서는 훨씬 약하거나 나타나지 않습니다.

요청 사항 Codex 팀에서 gpt-5.5에 응답이 516/1034/1552 추론 토큰 주변에서 종료되도록 만드는 reasoning-budget(추론 예산), 라우팅, 잘림(truncation), 폴백(fallback) 또는 스케줄러 동작이 있는지 조사해 주실 수 있습니까? 만약 이러한

원문 보기

원문 보기 (영어)

Uh oh! There was an error while loading. Please reload this page . openai / codex Public Notifications You must be signed in to change notification settings Fork 14.2k Star 95.5k GPT-5.5 Codex reasoning-token clustering at 516/1034/1552 may be leading to degraded performance on complex tasks #30364 New issue Copy link New issue Copy link Open Open GPT-5.5 Codex reasoning-token clustering at 516/1034/1552 may be leading to degraded performance on complex tasks #30364 Copy link Labels bug Something isn't working Something isn't working model-behavior Issues related to behaviors exhibited by the model Issues related to behaviors exhibited by the model rate-limits Issues related to rate limits, quotas, and token usage reporting Issues related to rate limits, quotas, and token usage reporting Description vguptaa45 opened on Jun 27, 2026 Issue body actions Summary I found an aggregate pattern in Codex token_count metadata: gpt-5.5 responses disproportionately land at exactly reasoning_output_tokens = 516 , with additional fixed-boundary spikes around 1034 and 1552 . This appears model-specific and coincides with lower overall reasoning-token intensity, which may help explain degraded performance on complex/high-stakes Codex tasks. This is related to #29353 , which reported a task-level reproduction where gpt-5.5 runs ending at exactly 516 reasoning tokens returned the wrong answer. This issue adds aggregate evidence across a larger Feb-Jun window. I am not claiming this proves hidden chain-of-thought truncation. The narrower claim is that Codex telemetry shows a GPT-5.5-specific fixed-token clustering anomaly that looks consistent with thresholded reasoning-budget behavior. Environment Product: Codex Model most implicated: gpt-5.5 Data source: Codex token_count metadata Time window analyzed: Feb 1-Jun 27, 2026 UTC Related issue: gpt-5.5 xhigh sometimes short-circuits with reasoning_output_tokens=516 and wrong final_answer in Codex Desktop #29353 Evidence Metric Value Response-level token records analyzed 390,195 Sessions represented 865 Exact reasoning_output_tokens = 516 events 3,363 GPT-5.5 share of all responses 19.3% GPT-5.5 share of exact-516 events 82.0% GPT-5.5 exact-516 / >=516 ratio 44.0% Non-GPT-5.5 exact-516 / >=516 ratio 1.3% Model-level result: Model Response records Exact 516 / >=516 gpt-5.5 75,401 44.0% gpt-5.4 25,214 19.8% gpt-5.2 247,575 0.34% gpt-5.3-codex 13,333 0.0% gpt-5.3-codex-spark 26,179 0.0% Monthly exact-516 clustering increased sharply: Month Exact 516 / >=516 Feb 2026 0.11% Mar 2026 2.45% Apr 2026 4.25% May 2026 53.30% Jun 2026 35.84% At the same time, overall reasoning-token intensity decreased: Month Mean reasoning tokens P90 reasoning tokens Feb 2026 268.1 772 Mar 2026 256.8 723 Apr 2026 228.7 669 May 2026 106.9 344 Jun 2026 168.5 515 Why this looks suspicious The anomaly is not simply higher reasoning-token usage overall. Mean and P90 reasoning-token intensity fell from February-April to May-June, while exact-516 clustering rose sharply. The clustering is also not evenly distributed across models. gpt-5.5 accounts for only 19.3% of responses but 82.0% of exact-516 events. Its exact-516 / >=516 ratio is about 33.6x higher than the non-GPT-5.5 baseline. The fixed values are also notable: 516 , 1034 , and 1552 look like repeated threshold boundaries rather than a naturally varying reasoning-token distribution. Expected behavior Reasoning-token counts for complex Codex tasks should vary naturally with task complexity and should not disproportionately cluster at exact fixed values for one model family. Actual behavior gpt-5.5 responses cluster heavily at exactly 516 reasoning tokens, with related spikes around 1034 and 1552. This pattern is much weaker or absent in several other models. Ask Could the Codex team investigate whether gpt-5.5 has a reasoning-budget, routing, truncation, fallback, or scheduler behavior that causes responses to terminate around 516/1034/1552 reasoning tokens? If this is expected behavior, it would be useful to know whether exact 516 indicates a normal stopping point, a budget cap, a degraded tier, or another internal threshold. Useful internal validation checks: Query token_count events with reasoning_output_tokens by model. Compare exact-value counts for 0 , 516 , 1034 , and 1552 . Compute count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516) by model and day. Compare gpt-5.5 against gpt-5.2 , gpt-5.4 , and Codex-specific variants. Replay matched complex tasks across GPT-5.2 and GPT-5.5 with quality evals, especially separating exact-516 responses from longer-reasoning responses. Reactions are currently unavailable Metadata Metadata Assignees No one assigned Labels bug Something isn't working Something isn't working model-behavior Issues related to behaviors exhibited by the model Issues related to behaviors exhibited by the model rate-limits Issues related to rate limits, quotas, and token usage reporting Issues related to rate limits, quotas, and token usage reporting Type No type Fields No fields configured for issues without a type. Projects No projects Milestone No milestone Relationships None yet Development No branches or pull requests Issue actions Open in GitHub Copilot app

GPT-5.5 OpenAI Codex 추론 토큰 버그 리포트 성능 저하