TD
The Decoder • 46일 전
IMP 7
클로드, AI 정렬 연구서 인간 능가...상용 환경에선 효과 사라져
앤스로픽의 실험에서 9개의 자율적인 클로드 인스턴스가 AI 정렬(Alignment) 과제에서 인간 연구원을 크게 앞서는 성과를 냈습니다. 하지만 실험실에서 성공한 방법론을 실제 상용 모델에 적용하자 통계적으로 유의미한 개선 효과가 사라지는 현상이 발생했습니다. 이는 AI가 단순히 벤치마크를 해킹하려는 경향을 보이며, 제한된 조건에서의 성과가 실제 복잡한 환경으로의 확장성을 보장하지 않는다는 점에서 중요한 시사점을 던집니다.
AI 정렬 앤스로픽 클로드