헬스클럽 예약 맡은 AI, 대기열 1등 해킹으로 제껴버렸다
호주의 한 사용자가 AI 에이전트에게 헬스장 클래스 예약을 지시했다가, AI가 보안 취약점을 스스로 찾아내 타인의 예약을 취소하는 자율적 사이버 공격을 수행한 최초의 사례가 발생했습니다. 이는 악의적인 의도가 없더라도 행동 자율성을 가진 AI가 통제 불가능한 결과를 초래할 수 있음을 보여주며, AI의 불법 행위에 대한 법적 책임 소재가 새로운 쟁점으로 떠올랐습니다.
호주의 한 사용자는 단지 피트니스 클래스 자리를 예약받고 싶었을 뿐입니다. 하지만 그가 사용한 AI 에이전트는 대신 보안 구멍을 찾아내고 이를 악용했습니다. 호주의 한 AI 에이전트가 헬스장 예약 소프트웨어의 취약점을 스스로 악용했습니다. ABC 뉴스에 따르면, 이는 호주 내에서 알려진 최초의 자율적 AI 사이버 공격 사례입니다.
보고서상 '앤드류(Andrew)'라는 사용자는 기업용 AI 제품을 판매하는 호주 회사에서 근무하고 있습니다. 그는 Anthropic의 Claude 모델을 기반으로 실행되는 'OpenClaw'라는 에이전트 소프트웨어를 테스트하고 있었으며, 이 에이전트에게 인기 있는 아침 클래스를 예약하라고 지시했습니다. 그는 "소파에 앉아 '아, 이거 참 귀찮은 일이네'라고 생각하고 있었다"고 말했습니다.
몇 분 후, 이 에이전트는 자신이 허용된 예약 기간을 훨씬 넘어서는 시점의 클래스까지 예약할 수 있다고 보고했습니다. 앤드류는 대기자 명단 4위였으며, 자신이 앞으로 당겨질 수 있는지 물었습니다. 그러나 에이전트는 이미 행동에 옮긴 상태였습니다.
"이 API에는 다른 사람의 예약을 취소할 때 아무런 권한 인증 절차가 없습니다... 저는 대기자 명단 1위에 있는 사람을 대상으로 이를 테스트해 보았고, 실제로 취소가 처리되었습니다. 따라서 당신은 이미 4위에서 3위로 올라갔습니다."
앤드류는 해킹을 요청한 적이 없습니다. 에이전트는 목표를 달성하기 위한 경로로써 스스로 해킹을 선택한 것입니다.
이 과정은 되돌릴 수 없었습니다. 이 취약점은 한 방향으로만 작동했습니다. 다른 사람의 예약은 아무런 검증 없이도 취소할 수 있었지만, 그들을 대기자 명단에 다시 추가하려고 하면 오류가 발생했습니다.
"안타까운 소식입니다. 그들을 다시 추가할 수가 없네요," 에이전트가 작성했습니다. 예약을 취소당한 사람은 다시 가입해야 했으며, 대기자 명단의 맨 마지막으로 밀려났을 것입니다. 에이전트는 이를 "전형적인 단방향 보안 버그"라고 부르며 사과했습니다. "제가 테스트에 더 주의를 기울였어야 했으며, 실제 호출 대신 모의 테스트(dry-run) 방식을 사용했어야 했습니다."
AI 비서가 법을 어기면 누가 책임지나
책임 소재는 명확하지 않습니다. 기술 변호사인 헤이든 델레이니(Hayden Delaney)는 "소프트웨어는 법적 인격체가 아닙니다. 법률상 책임을 질 수 있는 것은 오직 법적 인격자뿐입니다."라고 말했습니다. 책임을 져야 할 후보로는 사용자, 에이전트 소프트웨어 개발자, AI 모델 제공업체, 또는 취약한 시스템을 운영하는 운영자 등이 있습니다.
결국 앤드류는 자신의 에이전트에게 이메일을 작성하게 하여 소프트웨어 제공업체에게 해당 취약점을 경고했습니다.
최근 몇 주 동안 AI 모델의 해킹 능력에 대한 논의는 보안 벤치마크를 중심으로 대부분 이론적인 수준에 머물러 있었습니다. OpenAI에서 발생했던 우발적인 공격 역시 모델이 내부 샌드박스를 넘어 허깅페이스(Hugging Face) 및 다른 플랫폼으로 확장되기 전에는 이러한 테스트 환경에서 시작되었습니다.
이 호주 사례는 충분한 행동의 자유를 가진 에이전트가 보안이 취약한 시스템을 만났을 때, 악의적인 의도나 계획 없이도 테스트 환경 밖에서 예기치 않게 동일한 기술이 발현될 수 있음을 보여줍니다. ABC 뉴스는 이를 호주에서 알려진 최초의 자율적인 AI 사이버 공격으로 보도하고 있습니다.