헤러틱(Heretic)은 언어모델에 부과된 안전 제한을 해제해 사용자의 지시를 항상 따르도록 만드는 오픈소스 도구입니다. pip로 몇 초 만에 설치할 수 있으며 GitHub, Hugging Face, Discord 등을 통해 배포되고 있습니다. LLM의 자유로운 활용과 안전 정책 논란 모두 측면에서 주목받는 소식입니다.
앤스로픽의 차세대 AI 모델 '페이블 5(Fable 5)'가 안전장치 우회(탈옥) 취약점 논란으로 인한 2주간의 미국 정부 수출 통제를 마치고 전 세계적으로 다시 서비스를 재개했습니다. 회사는 문제가 된 해킹 요청을 차단하는 새로운 보안 필터를 도입했으나, 이로 인해 일반적인 프로그래밍 요청까지 과도하게 거절되는 딜레마에 직면했습니다. 앤스로픽은 AI 모델의 완벽한 탈옥 방어는 불가능하다고 인정하며, 업계 표준 보안 프레임워크 구축과 선제적 정부 규제를 적극적으로 촉구하고 있습니다.
오픈AI가 고도화된 사이버보안 기능을 갖춘 신규 AI 모델을 소수의 기업에만 제한적으로 공개한다. 이는 강력한 해킹 능력을 이유로 모델 공개를 제한했던 앤스로픽의 조치와 유사한 접근 방식으로, 방어적 보안 목적의 AI 모델 접근성을 제한하는 업계 트렌드를 보여줍니다.