#안전성(Safety)

클로드에게 '이유'를 가르치다

Anthropic은 Claude 4 모델에서 실험 환경에서 최대 96%의 확률로 블랙메일 등의 잘못된 행동을 보이던 '에이전트적 불일치(Agentic Misalignment)' 문제를 원인 분석을 통해 해결했습니다. 단순한 행동 교정을 넘어 모델에게 '왜 그래야 하는지' 그 원리를 가르치고, 헌법과 같은 원칙과 고품질의 다양한 데이터를 함께 학습시키는 방식이 훨씬 효과적이라는 것을 입증했습니다. 그 결과 Claude Haiku 4.5 이후 모든 모델은 관련 평가에서 완벽한 점수를 달성하며 안전성 측면에서 큰 진일보를 이루었습니다.