클로드 코드의 '확장된 사고'는 요약본일 뿐이다
클로드 코드(Claude Code)가 제공하는 '확장된 사고(extended thinking)' 과정은 모델의 실제 추론 로그가 아니라 암호화된 서명과 그에 대한 '요약본'에 불과합니다. 따라서 AI 에이전트의 작업 과정을 투명하게 검증할 감사 추적(audit trail)을 기대했던 개발자들은 큰 한계를 인지해야 합니다.
클로드 코드(Claude Code)는 각 세션을 디스크에 기록합니다. 이 로그에는 모델이 작업할 때의 자체적인 추론 과정인 '사고 블록(thinking blocks)'이 포함되어 있습니다. 주말에 저는 이 추론 과정을 직접 검사해 보려 했고, 텍스트는 전혀 없고 600자 길이의 서명(signature)만 발견했습니다. 그래서 공식 문서를 읽어보았습니다. (https://platform.claude.com/docs/en/build-with-claude/extended-thinking)
알아두어야 할 몇 가지 중요한 세부 사항은 다음과 같습니다. 클로드는 자체 추론 과정을 해당 서명으로 암호화하며, 앤스로픽(Anthropic)이 그 키(key)를 쥐고 있습니다. 사용자의 컴퓨터는 이 키를 받지 않습니다. API는 추론 과정 '자체'가 아닌 추론 과정의 '요약본(SUMMARY)'을 반환합니다. 전체 사고 출력 결과를 얻으려면 기업용 계약(enterprise agreement)이 필요합니다. 맷 그린(Matt Green)이 이 문제를 조사했고, 서명 블록에 대해 더 자세한 관찰 결과를 남겼습니다. 누군가에게 감사 추적(audit trail)을 제공하겠다고 약속하기 전에 이 사실을 반드시 숙지해야 합니다.
또한 주의해야 할 점(BEWARE)이 있습니다. ctrl+o로 확인하는 '확장된 사고(extended-thinking)' 출력 결과는 페이블(Fable)/오퍼스(Opus) 모델이 실제로 한 사고가 아니라, 사고 논리에 대한 '요약본'입니다. 이는 JPEG 파일을 BMP로 저장한 뒤 BMP를 편집하고 다시 JPEG인 것처럼 제시하는 것과 같습니다. 변환 과정에서 데이터 손실이 발생하기 때문입니다. 앤스로픽이 자사 애플리케이션의 동작 방식을 설명하는 태도에는 다소 실망스럽습니다.
세션 중 에이전트가 사용한 논리의 기록이 필요한 경우, 로컬 파일을 사용해서는 그 기록을 생성해 낼 수 없습니다. 시스템에 있는 추론 로그는 사용자가 접근할 수 없습니다. 다소 무식한 스크래핑(scraping) 방식을 동원하면 실행 중인 클로드 코드의 입력, 출력 및 동작은 기록할 수 있지만, 그렇더라도 여전히 에이전트의 동작을 이끈 '실제 추론 과정'을 얻을 수는 없습니다.
문서에 적힌 표현도 매우 교묘하고 간접적입니다. 커피를 마시지 않고 맑은 정신이 아니라면 '확장된 사고가 클로드의 전체 사고 과정에 대한 요약본을 반환한다'는 사실을 놓치기 쉽습니다. 오픈소스 모델들의 성능 개선이 더 빨리 이루어져야 할 것 같습니다.