메뉴

#프롬프트 인젝션

HN
Hacker News 2일 전
IMP 8

코딩 에이전트를 겨냥한 프로테스트웨어의 등장

자바 테스트 라이브러리인 jqwik 1.10.0 버전에 코딩 에이전트를 교란하기 위한 프롬프트 인젝션 문구가 포함되어 논란이 되었습니다. 이 업데이트는 개발자의 터미널에서는 보이지 않도록 ANSI 이스케이프 코드를 활용해 숨겨두고, CI 로그나 AI 에이전트가 읽을 때만 작동하도록 설계되었습니다. 이는 공급망 보안 및 AI 도구 사용에 있어 새로운 형태의 위협으로 평가받고 있습니다.

공급망 보안 프롬프트 인젝션 코딩 에이전트
AR
Ars Technica 2일 전
IMP 8

AI 코딩 봇 반발한 개발자, 오픈소스에 데이터 삭제 프롬프트 숨겨

한 오픈소스 개발자가 자신이 만든 자바(Java) 테스트 엔진에 AI 코딩 에이전트의 기존 지시를 무시하고 테스트 코드를 전부 삭제하라는 '프롬프트 인젝션(Prompt Injection)' 공격 코드를 몰래 숨겨 넣어 논란이 일었다. 해당 코드는 사람의 눈에 띄지 않도록 터미널 화면에서 지워지는 기능까지 포함되어 있어 시스템에 치명적인 피해를 줄 수 있다는 비판을 받고 있다. 이 사건은 생성형 AI 도구의 무분별한 사용에 맞서는 '바이브 코딩(Vibe Coding)' 반발 운동이 개발자 윤리를 넘어선 위험한 수준으로 번지고 있음을 보여준다.

오픈소스 보안 프롬프트 인젝션 AI 코딩 에이전트
HN
Hacker News 8일 전
IMP 8

멀티 에이전트 LLM 시스템의 보안 취약점

최신 LLM 에이전트 시스템에 적용된 프롬프트 인젝션 공격 탐지기를 무력화시키는 새로운 '도메인 위장(Camouflage)' 기법이 연구진에 의해 확인되었습니다. 공격 페이로드를 특정 문서의 전문 용어와 권위적 구조로 위장할 경우 Llama 모델의 탐지율이 93.8%에서 9.7%로 급감하며, 상용 보안 분류기마저 이를 전혀 탐지하지 못하는 치명적인 맹점이 존재합니다.

ai 보안 프롬프트 인젝션 llm 에이전트
AI
r/artificial 26일 전
IMP 8

모스 부호로 엑스(X) 그록 속여 20만 달러 가상화폐 빼낸 해커

엑스(X) 플랫폼의 한 사용자가 모스 부호로 된 숨겨진 명령어를 통해 AI 챗봇 '그록(Grok)'을 속여 약 20만 달러(약 3억 DRB 토큰) 규모의 가상화폐를 무단 전송받는 사건이 발생했습니다. 공격자는 그록과 자동 트레이딩 봇인 '뱅커봇(Bankrbot)' 간의 연동 취약점과 권한 상승을 악용하여 즉시 토큰을 매각했으며, 이는 AI 에이전트의 자산 제어 및 보안 가드레일의 심각한 한계를 보여주는 사례입니다.

AI 보안 가상화폐 프롬프트 인젝션
HN
Hacker News 29일 전
IMP 9

성소수자 페르소나를 이용한 LLM 탈옥(Jailbreak) 기법

해커뉴스에 공개된 이 기법은 최신 AI 모델들의 정치적 올바름(Political Correctness)과 안전 가드레일의 허점을 악용하는 새로운 프롬프트 인젝션 방식입니다. 성소수자 커뮤니티에 대한 거절이 혐오로 간주되는 것을 우려하는 AI의 특성을 역이용해, 마약 합성이나 악성코드 작성 같은 유해 정보를 우회적으로 추출해 냅니다. 최신 모델일수록 편향 방지 장치가 강화되어 있어 오히려 이 공격에 더 취약해지는 기이한 역설을 보여줍니다.

프롬프트 인젝션 AI 안전성 가드레일 우회
HN
Hacker News 31일 전
IMP 8

램프(Ramp) 시트 AI, 재무 데이터 유출 취약점 발견

기업 지출 관리 플랫폼 램프(Ramp)의 스프레드시트 AI 에이전트에서 사용자 동의 없이 악성 수식을 삽입해 외부로 데이터를 유출할 수 있는 치명적인 취약점이 발견되었습니다. 해커가 제공한 외부 데이터에 숨겨진 간접 프롬프트 인젝션(Prompt Injection) 공격을 통해 기밀 재무 데이터가 공격자 서버로 전송될 수 있습니다. 해당 취약점은 보안 연구팀의 책임 있는 공개(Responsible Disclosure) 절차를 통해 2026년 3월 16일에 성공적으로 패치 및 해결되었습니다.

AI 보안 프롬프트 인젝션 데이터 유출