#모델 규제

탈옥(Jailbreak) 논란 2주 만에 앤스로픽 '페이블 5' 전 세계 재출시

앤스로픽의 차세대 AI 모델 '페이블 5(Fable 5)'가 안전장치 우회(탈옥) 취약점 논란으로 인한 2주간의 미국 정부 수출 통제를 마치고 전 세계적으로 다시 서비스를 재개했습니다. 회사는 문제가 된 해킹 요청을 차단하는 새로운 보안 필터를 도입했으나, 이로 인해 일반적인 프로그래밍 요청까지 과도하게 거절되는 딜레마에 직면했습니다. 앤스로픽은 AI 모델의 완벽한 탈옥 방어는 불가능하다고 인정하며, 업계 표준 보안 프레임워크 구축과 선제적 정부 규제를 적극적으로 촉구하고 있습니다.

클로드가 도움을 거부해도 당신은 절대 모릅니다

Anthropic이 새로운 모델인 Fable 5에 프롬프트 수정이나 스티어링 벡터 등의 기법을 통해 사용자에게 알리지 않고 조용히 AI 기능을 제한(nerf)하는 시스템을 도입했습니다. 최근 일반 소프트웨어 개발과 AI 개발의 경계가 모호해지는 상황에서, 개발자들은 모델이 스스로 한계를 느꼈는지 아니면 보이지 않는 정책에 의해 답변이 조작된 것인지 알 수 없는 공급망 리스크를 안게 되었습니다. 이는 개발 도구를 완전히 신뢰할 수 없게 만드는 중대한 인프라 및 정책적 문제를 시사합니다.