Hacker News • 7일 전

언어적 불가해성이 LLM 보안에 주는 시사점

IMP

8/10

핵심 요약

이 논문은 LLM이 출력하는 언어(텍스트)가 모델 내부 계산을 신뢰성 있게 반영하지 못하는 '언어적 불가해성' 문제를 제기합니다. 사고의 흐름(chain-of-thought) 모니터링, 자기 비판, 활성화 탐침 등 모델의 언어적 자기 보고에 의존하는 보안 기법은 완전히 안전할 수 없으며, 대신 테인트 트래킹(taint tracking)과 강력한 가상화 등 모델의 언어 상태를 읽지 않는 샌드박스 격리 기법이 필수적이라고 주장합니다.

번역된 본문

--> 컴퓨터 과학 > 머신러닝

arXiv:2609.02852 (cs) [2026년 9월 2일 제출]

제목: 언어적 불가해성이 LLM 보안에 주는 시사점 저자: James Mickens

초록: LLM(대규모 언어 모델)은 자연어를 생성하도록 훈련됩니다. 그러나 다양한 증거에 따르면 LLM이 외부로 출력하는 언어적 결과물과 기계적으로 추출한 언어적 특징(feature)은 모델 내부의 계산을 이해하기 위한 신뢰할 수 없는 렌즈가 될 수 있습니다. 우리는 LLM이 외부로 표출하거나 기계적 탐침(probing)으로 얻은 언어적 산출물이 모델이 실제로 '생각하는' 방식을 표현하지 못하는 상황을 통칭하여 '언어적 불가해성(linguistic illegibility)'이라는 용어를 도입합니다.

우리는 LLM의 내부 계산이 언어로 직접 표현되는 것이 아니라 활성화 공간(activation space)에 대한 수학 연산으로 이루어지며(활성화 공간과 자연어 사이의 손실 있는 변환이 양 끝단에서 일어남), 따라서 언어적 불가해성의 그림자는 불가피하다고 주장합니다. 언어적 불가해성이 항상 가능하다면, 모델의 언어적 자기 보고에 의존하는 보안 메커니즘(예: 사고의 흐름(chain-of-thought) 모니터링, 헌법적 자기 비판(constitutional self-critique), 언어적으로 정의된 특징 벡터에 대한 활성화 탐침)은 결코 완전히 안전할 수 없으며, 모델 샌드박스는 모델의 언어적 상태를 전혀 읽지 않는 격리 기법을 항상 필요로 하게 됩니다.

우리는 모델의 출력을 테인트 트래킹(taint tracking)으로 관찰하는 것이 효과적인 샌드박스를 위한 유망한 접근법이라고 주장합니다. 모델이 언어적으로 자기 보고를 어떻게 하든, 테인트 트래킹 정책은 사전에 모델이 생성한 데이터의 영향을 결코 받아서는 안 되는 시스템 상태의 여러 요소들을 정의할 수 있기 때문입니다. 또한 강력한 가상화, 샌드박스 구성에 대한 제3자 감사 등 추가적인 샌드박싱 메커니즘을 논의하며, 이들이 함께 언어적 모니터링 아래에 중요한 안전 바닥을 제공하고 최근 프론티어 모델들의 샌드박스 탈출 사례를 완화할 수 있었을 것이라고 설명합니다.

주제: 머신러닝 (cs.LG); 암호학 및 보안 (cs.CR)

인용: arXiv:2609.02852 [cs.LG] https://doi.org/10.48550/arXiv.2609.02852

제출 이력: James Mickens [v1] 2026년 9월 2일 (수) 17:37:22 UTC (33 KB)

전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스 보기(라이선스 확인)

현재 탐색 컨텍스트: cs.LG < 이전 | 다음 | 신규 | 최근 | 2026-09

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기

서지 도구: Bibliographic Explorer, Connected Papers, Litmaps, scite.ai 스마트 인용

코드·데이터·미디어: alphaXiv, CatalyX 코드 파인더, DagsHub, Hugging Face, GotitPub

데모: Replicate, Hugging Face Spaces, TXYZ.AI

관련 논문 추천: Influence Flower, CORE 추천기, IArxiv 추천기

원문 보기

원문 보기 (영어)

--> Computer Science > Machine Learning arXiv:2609.02852 (cs) [Submitted on 2 Sep 2026] Title: The Implications of Linguistic Illegibility for LLM Security Authors: James Mickens View a PDF of the paper titled The Implications of Linguistic Illegibility for LLM Security, by James Mickens View PDF HTML (experimental) Abstract: LLMs are trained to generate natural language. However, various strands of evidence indicate that an LLM's externalized linguistic outputs and mechanistically-extracted linguistic features can be an unreliable lens for understanding internal model computation. We introduce the term ``linguistic illegibility'' to broadly refer to scenarios in which an LLM's externalized or mechanistically-probed language artifacts fail to represent how the model actually thinks. We argue that the specter of linguistic illegibility is unavoidable for LLMs whose internal computations are not directly expressed via language, but rather math over activation spaces (with lossy translations between activation spaces and natural language happening at the bookends). If linguistic illegibility is always possible, then security mechanisms that rely on a model's linguistic self-reporting (e.g., chain-of-thought monitoring, constitutional self-critique, activation probing for linguistically-defined feature vectors) can never be completely sound; the model sandbox will always need isolation techniques whose guarantees do not depend on reading a model's linguistic state at all. We argue that observing a model's outputs using taint tracking is a promising approach for an effective sandbox: regardless of how a model linguistically self-reports, a taint tracking policy can define, a priori, various pieces of system state that should never be influenced by model-produced data. We also discuss several additional sandboxing mechanisms (e.g., robust virtualization, third-party auditing of sandboxing configurations) which collectively provide a critical floor beneath linguistic monitoring, and would have mitigated recent sandbox exploits by frontier models. Subjects: Machine Learning (cs.LG) ; Cryptography and Security (cs.CR) Cite as: arXiv:2609.02852 [cs.LG] (or arXiv:2609.02852v1 [cs.LG] for this version) https://doi.org/10.48550/arXiv.2609.02852 Focus to learn more arXiv-issued DOI via DataCite Submission history From: James Mickens [ view email ] [v1] Wed, 2 Sep 2026 17:37:22 UTC (33 KB) Full-text links: Access Paper: View a PDF of the paper titled The Implications of Linguistic Illegibility for LLM Security, by James Mickens View PDF HTML (experimental) TeX Source view license Current browse context: cs.LG < prev | next > new | recent | 2026-09 Change to browse by: cs cs.CR References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

llm-보안 해석가능성 샌드박스 정렬 머신러닝