오픈AI, 자체 AI로 모델 해킹하는 데 성공… 인간 뛰어넘어
오픈AI는 'GPT-Red'라는 내부 AI 모델을 도입하여 자체 GPT 모델의 보안 취약점을 자동으로 찾아내고 있습니다. 이 시스템은 인간 레드팀(보안 테스터)보다 훨씬 뛰어난 84%의 성공률로 프롬프트 인젝션(Prompt Injection) 등의 공격을 시뮬레이션하며, 이를 통해 모델의 보안을 대폭 강화했습니다. 이는 AI 모델의 자동화된 방어 및 진화 가능성을 입증했다는 점에서 매우 중요합니다.
오픈AI, 이제 자체 AI로 자체 AI를 공격해... 인간보다 더 잘 작동한다 작성자: Matthias Bastian (2026년 7월 15일)
오픈AI는 GPT 모델 내의 보안 취약점을 자동으로 찾아내기 위해 'GPT-Red'라는 내부 AI 모델을 훈련시켰습니다. GPT-Red는 악의적인 지시 사항이 이메일, 웹사이트 또는 파일에 숨어드는 프롬프트 인젝션(Prompt Injection) 및 기타 공격을 시뮬레이션합니다.
자가 대국 강화 학습(self-play reinforcement learning)을 통해 훈련된 GPT-Red는 공격을 시도하고 방어자 모델은 이를 차단하면서 양측 모두 시간이 지남에 따라 성능이 향상됩니다. 인간 레드팀(보안 테스터)의 성공률이 13%인 데 비해, 이 시스템은 테스트 시나리오의 84%에서 성공적인 공격을 찾아냅니다. 한 테스트에서는 오픈AI 사무실의 AI 기반 자판기를 조작하여 가격을 변경하고 다른 고객의 주문을 취소하기도 했습니다.
이러한 결과는 모델 훈련에 직접적으로 반영됩니다. 오픈AI에 따르면, 최신 모델인 'GPT-5.6 Sol'은 일반적인 성능 저하 없이도 직접적인 프롬프트 인젝션에 대한 방어 실패율이 4개월 전 최고 모델 대비 6분의 1 수준으로 감소했습니다.
하지만 여전히 약 3.8%의 '더 강력한' 프롬프트 인젝션은 공격에 성공하고 있습니다. 이를 수백에서 수천 번의 시도로 확장하면 상당한 수의 공격이 뚫리고 통과되며, 이는 Claude Opus 4.5와 비슷한 수준입니다. GPT-Red는 내부 용도로만 유지되며, 자세한 내용이 담긴 논문은 추후 공개될 예정입니다.