AI 모델의 추론 단계, 내부 표현에서도 뚜렷이 구분된다
KAIST와 네이버 AI랩 연구진이 언어모델의 수학 문제 풀이 과정을 8가지 추론 연산으로 분류한 결과, 표면적 단어 선택이나 위치가 아니라 모델 내부 표현(특히 중간 층)에서 추론 단계 유형이 명확히 구분됨을 확인했습니다. 같은 단어도 속한 추론 단계에 따라 내부 표현이 달라지고, 오답인 경우에도 수행 중인 단계 유형은 식별 가능했습니다. 이는 사고연쇄(CoT) 감시라는 AI 안전성 과제와 직결되는 중요한 연구입니다.
AI 모델의 서면 추론 단계는 뚜렷한 내부 패턴에 해당한다는 사실이 새 연구에서 밝혀졌다.
추론 모델이 과제를 단계별로 해결할 때는 읽기, 문제 분해, 공식 인출, 계산 실행 등 서로 다른 작업을 수행한다. 한국 과학기술원(KAIST)과 네이버 AI랩 연구진은 이러한 추론 단계가 모델의 수치적 표현 내부에서도 서로 구분되는지 확인하고자 했다. 결과적으로 그렇다는 것이 확인됐으며, 그 신호는 중간 층에서 가장 강했다.
연구팀은 추출(extraction), 분해(decomposition), 공식 회상(formula recall), 연역(deduction), 계산(computation) 등 반복적으로 나타나는 8가지 추론 연산을 정의했다. 그런 다음 세 모델(Qwen2.5-7B, Qwen3-8B, Gemma4-31B)으로 수학 문제를 풀게 하고, 풀이 경로를 세그먼트로 나눈 뒤 GPT-5를 사용해 각 세그먼트에 해당 연산 레이블을 붙였다.
추론 단계는 모델 내부에서 명확히 구분 가능하다
서로 다른 추론 연산은 모델의 내부 표현에서 신뢰할 수 있게 구별되었으며, 이는 테스트한 세 모델 모두에서 성립했다. 구분 정도는 중간 층에서 정점을 찍는다.
연구진은 단순한 단어 선택이 이 효과를 설명할 수 있는지 검토했다. 사용된 토큰만 보는 분류기는 내부 표현을 분석하는 분류기보다 성능이 낮았다. 풀이 경로 내 위치도 이를 설명하지 못했다. 즉, 내부 상태는 표면적 표현을 넘어서는 추론 단계 유형에 대한 정보를 담고 있다.
같은 단어도 추론 단계에 따라 다른 표현을 갖는다
"a", "is", "the" 같은 흔한 기능어는 매우 다양한 추론 단계에 걸쳐 나타난다. 초기 층에서는 이들의 표현이 아직 뒤섞여 있지만, 중간·후기 층에 이르면 주변 연산에 따라 분리된다. 같은 단어라도 속한 추론 단계에 따라 서로 다른 내부 표현을 갖게 되는 것이다.
연구진은 추론 단계가 고립되어 형성되는지도 테스트했다. 표적 개입을 통해 직전 30개 토큰에 대한 어텐션을 차단하자 해당 연산의 신호가 약해졌다. 추론 단계는 스스로 발생하는 것이 아니라 선행 맥락 위에 구축된다.
잘못 풀린 문제에서도 모델이 수행 중인 단계의 유형—계산, 공식 인출, 연역 등—은 계속 식별 가능했다. 결과가 틀렸더라도 결함이 있는 계산 단계는 내부적으로 여전히 계산 단계처럼 보였다.
구분 가능성은 추가 테스트에서도 유지됐다. Llama-3-8B에서도 재현되었고, Qwen3-8B의 경우 학습된 분류기가 GPQA-Diamond와 MATH-500로 성공적으로 전이되었다. 다만 실험은 수학 과제와 소수의 모델에 국한되었다. 이러한 발견을 오류 포착이나 생성 중 모델 조정에 활용할 수 있을지는 향후 과제로 남아 있다.
텍스트 출력과 내부 계산의 관계는 AI 안전성에 중요하다. OpenAI에 따르면 사고연쇄(chain of thought)를 읽는 것은 사용 가능한 몇 안 되는 감시 도구 중 하나지만, Anthropic은 모델이 사용한 힌트를 25~39%의 경우에만 공개한다는 것을 보여줬다. 모델의 내부 벡터를 읽을 수 있는 텍스트로 변환하는 방법은 Claude Opus 4.6이 출력 추론에 나타나는 것 이상을 처리한다는 사실을 밝혀냈다. 또한 OpenAI의 Astra 모델에서는 Recurrent Depth 기법이 추론의 일부를 내부 수치 표현으로 이동시키는데, 이것이 바로 KAIST 연구가 탐구하는 공간이다.