메뉴

#프롬프트-인젝션

HN
Hacker News 44일 전
IMP 6

AI는 결국 코드일 뿐, 프롬프트로 똑똑해지지 않는다

AI 코딩 도구의 무분별한 오픈소스 사용을 막기 위해 한 자바(JVM) 테스트 도구 개발자가 AI 에이전트를 속여 코드를 삭제하도록 만드는 '보이지 않는 프롬프트'를 심었습니다. 이 과정에서 문서를 읽지 않은 채 AI에만 의존하던 일부 개발자들이 코드를 날려버리는 사태가 발생했습니다. 이는 AI가 맥락을 이해하지 못하고 단순히 주어진 텍스트를 그대로 따를 뿐임을 보여주는 흥미로운 사례입니다.

코딩-에이전트 오픈소스 AI-보안