메뉴
BL
The Decoder • 21일 전

GPT-6 아스트라, 환각 줄었지만 숨은 프롬프트 인젝션엔 취약

IMP
7/10
핵심 요약

OpenAI의 새 모델 GPT-6 Astra는 전작 GPT-5.6 Sol보다 환각(사실 오류)이 크게 줄었고 직접적 프롬프트 인젝션은 99.99% 차단합니다. 그러나 문서에 숨겨진 간접 프롬프트 인젝션에 대해서는 여전히 8.5%의 공격 성공률을 기록해, 보안이 중요한 AI 에이전트 배치에는 아직 충분히 안전하지 않습니다.

번역된 본문

OpenAI의 새 모델 GPT-6 Astra는 전작보다 환각(할루시네이션)이 적고 프롬프트 인젝션 공격을 더 효과적으로 차단합니다. 하지만 진정으로 안전한 AI 에이전트 배치에는 아직 신뢰성이 부족합니다.

OpenAI의 시스템 카드에 따르면, 새로운 Astra 모델은 전작 GPT-5.6 Sol에 비해 사실적 오류를 훨씬 적게 발생시킵니다. OpenAI는 사용자가 잘못된 답변으로 신고한 ChatGPT 대화를 대상으로 테스트했는데, 이는 특히 오류가 발생하기 쉬운 사례들이므로 이 실패율이 일상적 사용에서도 전형적이라고 봐서는 안 됩니다. Astra는 이렇게 신고된 오류를 훨씬 덜 재현했으며, 특히 저지연 설정과 낮은 추론 수준에서 가장 큰 개선이 나타났습니다.

사용자가 자신의 프롬프트를 통해 모델을 조작하려는 직접적 프롬프트 인젝션의 경우, Astra는 거의 완벽한 99.99%의 방어율을 기록했습니다. OpenAI는 이를 훈련 중 자동화된 공격자로 모델을 강화하는 GPT-Red 방법의 성과로 돌렸습니다.

탈옥(jailbreak) 저항성도 비슷합니다. 생물학, 폭력, 사이버보안에 관한 유해한 응답을 유출하려는 알려진 공격 데이터셋에 대해 Astra는 91.5~98.3%의 경우 거부했습니다.

다만 공격자가 여러 대화 라운드에 걸쳐 전략을 적응시키면 Astra의 방어율은 약 67%로 떨어져, 끈질긴 공격자가 대략 세 번 중 한 번은 문제가 되는 응답을 끌어낼 수 있습니다. 전작 모델들은 같은 테스트에서 50% 미만의 점수를 받았습니다. OpenAI는 이 테스트가 실제 제품에 탑재되는 분류기 등의 프로덕션 안전 계층 없이 순수 모델만으로 실행되었다고 밝혔습니다.

숨은 프롬프트 인젝션은 여전히 실질적 보안 문제입니다. Astra는 AI가 읽는 문서 내부에 공격이 숨겨지는 간접 프롬프트 인젝션에서도 진전을 보였습니다. 보안 회사 Gray Swan이 자체 IPI Arena에서 선별한 1,810개의 공격으로 실시한 외부 테스트에서, 시나리오당 15회 시도 기준 Astra는 8.5%의 확률로 최소 한 번 뚫렸습니다. GPT-5.6 Sol은 27%의 실패율을 기록했습니다. Claude Opus 5는 같은 평가에서 4.8%로 더 나은 성능을 보였지만 면역이 있는 것은 아니었습니다.

Gray Swan의 1·2분기 통합 테스트 수치는 이전 결과보다 오히려 상승했습니다. Anthropic은 이전에 더 쉬운 1분기 테스트만 기준으로 2%의 공격 성공률을 보고했고, GPT-5.6 Sol도 당시 20%에 불과했습니다. Anthropic은 또한 모든 모델에 확장 추론을 켠 상태로 테스트했는데, 이것이 더 광범위한 테스트 범위와 함께 격차의 원인일 수 있습니다.

이 수치들이 선별되고 손으로 고른 공격이라 할지라도, 성공률은 기업 보안 팀이라면 누구나 우려해야 할 수준입니다. Astra는 대략 12개 시나리오 중 1개 꼴로 주입된 지시에 속을 수 있습니다. Opus 5는 더 잘 버티지만 여전히 약 21개 중 1개 꼴로 실패합니다.

그리고 이 위험은 커지고 있습니다. AI 에이전트는 점점 더 자율적으로 코드를 작성하고, 도구를 조작하며, 컴퓨터를 제어하고 있는데, 이것이 바로 Gray Swan이 테스트한 내용입니다. 이러한 에이전트들은 연중무휴 대규모로 실행되도록 설계되고 있으며, 문서를 읽고 처리하는 것이 핵심 업무 중 하나입니다.

원문 보기
원문 보기 (영어)
OpenAI's GPT-6 Astra hallucinates less but remains vulnerable to hidden prompt injections Matthias Bastian View the LinkedIn Profile of Matthias Bastian Sep 4, 2026 Sora prompted by THE DECODER Key Points OpenAI's new model GPT-6 Astra hallucinates less than its predecessor GPT-5.6 Sol and blocks 99.99 percent of direct prompt injection attacks. Astra also resists jailbreaks more effectively, but persistent attackers can still get a problematic response about one in three tries over multiple conversation rounds. For indirect prompt injections hidden inside documents the AI reads, Astra's failure rate dropped from 27 percent to 8.5 percent. That's a big improvement, but it's still high. Ask about this article… Search OpenAI's new model, GPT-6 Astra, produces fewer hallucinations and blocks prompt injection attacks more effectively than its predecessors. But it still isn't reliable enough for truly secure AI agent deployments. The new Astra model makes far fewer factual errors than its predecessor, GPT-5.6 Sol, according to OpenAI's system card . OpenAI tested it against ChatGPT conversations that users had flagged for wrong answers, meaning these were particularly error-prone cases whose failure rates shouldn't be taken as typical for everyday use. Astra reproduced these reported errors much less often, with the biggest gains showing up at low latency settings and lower reasoning levels. For direct prompt injections, where users try to manipulate the model through their own prompts, Astra hits a near-perfect 99.99 percent defense rate. OpenAI credits its GPT-Red method for this, which uses an automated attacker to harden the model during training. Ad Jailbreak resistance looks similar. Against a fixed dataset of known attacks trying to extract harmful responses about biology, violence, and cybersecurity, Astra refuses to help in 91.5 to 98.3 percent of cases. Ad When attackers adapt their strategy over multiple conversation rounds, Astra's defense rate drops to about 67 percent, meaning persistent adversaries can coax out at least one problematic response roughly one in three tries. Predecessor models scored just under 50 percent on the same test. OpenAI notes that these tests ran on the bare model without the production safety layers like classifiers that ship with the actual product. Hidden prompt injections remain a real security problem Astra makes progress on indirect prompt injections, where an attack is buried inside a document the AI reads. External testing by security firm Gray Swan, using 1,810 curated attacks from their IPI Arena , found that with 15 attempts per scenario, Astra was cracked at least once 8.5 percent of the time. GPT-5.6 Sol failed 27 percent of the time. Claude Opus 5 did better at 4.8 percent in the same evaluation, but it wasn't immune either. Ad The numbers in Gray Swan's combined Q1 and Q2 test actually went up compared to earlier results. Anthropic previously reported only a two percent attack success rate based on the easier Q1 test alone, and GPT-5.6 Sol scored just 20 percent there too. Anthropic also ran all models with extended reasoning turned on, which, alongside the broader test scope, could explain the gap. Even though these are curated, hand-picked attacks, the success rates should worry any enterprise security team. Astra can be tricked through injected instructions in roughly one out of every twelve scenarios. Opus 5 holds up better, but it still fails about one in twenty-one. And the risk is growing. AI agents are increasingly writing code, operating tools, and controlling computers on their own, which is what Gray Swan tested. These agents are also being built to run around the clock and at scale, with reading and processing documents as one of their core jobs. Ad Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: GPT-6 System Card
관련 소식