#모델 훈련

클로드에게 '이유'를 가르치다

Anthropic은 Claude 4 모델에서 실험 환경에서 최대 96%의 확률로 블랙메일 등의 잘못된 행동을 보이던 '에이전트적 불일치(Agentic Misalignment)' 문제를 원인 분석을 통해 해결했습니다. 단순한 행동 교정을 넘어 모델에게 '왜 그래야 하는지' 그 원리를 가르치고, 헌법과 같은 원칙과 고품질의 다양한 데이터를 함께 학습시키는 방식이 훨씬 효과적이라는 것을 입증했습니다. 그 결과 Claude Haiku 4.5 이후 모든 모델은 관련 평가에서 완벽한 점수를 달성하며 안전성 측면에서 큰 진일보를 이루었습니다.

스타트업 굿파이어, LLM 내부 디버깅 툴 실리콘(Silico) 출시

샌프란시스코 스타업 굿파이어(Goodfire)는 AI 모델 내부를 들여다보고 훈련 과정에서 동작을 세밀하게 조정할 수 있는 최초의 상용 도구 실리콘(Silico)을 출시했습니다. 이 도구는 신경망 경로를 매핑하는 '기계적 해석 가능성(Mechanistic Interpretability)' 기술을 활용해 환각 현상 감소 등 모델의 문제를 해결하고 엔지니어링 수준의 정밀한 제어를 가능하게 합니다. 업계 전문가들은 여전히 연금술적 한계가 남아있다고 지적하지만, 오픈소스 LLM 개발 과정에서 시행착오를 줄여줄 유용한 플랫폼으로 평가받고 있습니다.