#모델 성능

Anthropic, Claude Code에서 낮춘 노력 수준 A/B 테스트 의혹

사용자 보고에 따르면 Anthropic이 Claude Code 2.1.236 이상 버전에서 'Sonnet 5(fable)' 세션을 대상으로 서버 측 실험을 진행해 노력(effort) 척도를 축소하고 있습니다. 2.1.237부터는 'high' 노력 수준이 실제로 100점 만점에 10점으로 처리되며, 이는 예전 'low' 수준과 동일한 수치입니다. 변경 로그에는 이 내용이 전혀 언급되지 않아 테스트 그룹에 포함된 사용자는 모델 성능이 저하된 것처럼 느낄 수 있습니다.

동일한 요금제, 더 높은 실사용료…오퍼스 4.7 토큰 소모 증가

Anthropic의 최신 모델인 Opus 4.7은 전 모델(4.6)과 동일한 API 요금을 유지하고 있으나, 실제 요청당 토큰 소모량이 평균 30% 이상 증가해 전체 사용 비용이 크게 상승하는 것으로 나타났습니다. 코드 생성 작업에서 특히 토큰 낭비가 심하며, 80턴 기준 약 20~30%의 추가 비용이 발생할 것으로 추정됩니다. 그러나 지시 사항 준수 성능(IFEval 기준)은 이전 버전 대비 약 5%p 향상되어 기능적 개선은 이루어진 것으로 확인됩니다.

클로드 오푸스 4.7, 벤치마크서 4.6보다 성능 역행

클로드 오푸스 4.7이 '주제 일반화 벤치마크(Thematic Generalization Benchmark)' 테스트에서 예상과 달리 이전 버전인 4.6보다 낮은 점수를 기록했습니다. 모델이 제시된 예시에서 구체적인 제약 조건을 잊고 더 포괄적이지만 틀린 패턴을 선택하는 오류를 보였으며, 이는 모델 업데이트 과정에서 추론 및 맥락 파악 능력의 퇴화 가능성을 시사합니다.