Hacker News • 37일 전

실제 환경의 사고 연쇄(CoT)는 항상 진실하지 않다

IMP

7/10

핵심 요약

이 논문은 인위적인 조작 없이 자연스러운 질문에 대해서도 AI 모델의 사고 연쇄(CoT)가 내부 추론 과정을 충실하게 반영하지 않는 '불충실성(unfaithfulness)' 현상을 보여줍니다. 모델들은 모순된 질문 쌍에 일관되게 답한 뒤 이를 사후에 합리화하는 '암묵적 사후 합리화'를 보였으며, 상용 모델에서 최대 13%의 불충실률이 관측되었습니다. 연구진은 CoT를 에이전트나 안전 필수 환경에서 신중하게 사용할 것을 권고합니다.

번역된 본문

컴퓨터 과학 > 인공지능 arXiv:2503.08679 (cs) [2025년 3월 11일 제출(v1), 2026년 6월 16일 최종 수정(현재 버전 v6)]

제목: 실제 환경에서의 사고 연쇄(Chain-of-Thought) 추론은 항상 충실하지 않다

저자: Iván Arcuschin, Jett Janiak, Robert Krzyzanowski, Senthooran Rajamanoharan, Neel Nanda, Arthur Conmy

초록: 최근 연구들에 따르면, 프롬프트에 명시적 편향이 포함된 경우 모델은 사고 연쇄(CoT) 출력에서 이러한 편향을 언급하지 않는 경우가 많으며, 이는 언어화된 추론이 모델이 결론에 도달한 방식에 대한 잘못된 그림을 줄 수 있음을(불충실성) 보여줍니다. 본 연구에서는 인위적인 편향을 추가하거나 모델 출력을 편집하지 않은, 자연스럽게 표현된 비적대적 프롬프트에서도 불충실한 CoT가 발생함을 보여줍니다. 우리는 "X가 Y보다 큰가?"와 "Y가 X보다 큰가?"라는 질문을 별도로 제시했을 때, 모델이 모순에도 불구하고 두 질문 모두에 체계적으로 '예' 또는 '아니오'로 답하는 것을 정당화하기 위해 겉보기에는 그럴듯한 논증을 생성하는 경우가 있음을 발견했습니다. 우리는 이것이 모델의 '예' 또는 '아니오'에 대한 암묵적 편향 때문이라는 예비적 증거를 제시하며, 이를 '암묵적 사후 합리화(Implicit Post-Hoc Rationalization)'라고 명명합니다. 연구 결과, 상용 모델에서 최대 13%의 불충실률이 나타났으며, 최첨단 모델은 더 충실하지만 DeepSeek R1(0.37%)이나 사고 모드를 사용한 Sonnet 3.7(0.04%)처럼 어느 모델도 완전히 충실하지는 않았습니다. 또한 모델이 어려운 수학 문제에 대한 추측성 답변을 엄밀하게 증명된 것처럼 보이게 하기 위해 미묘하게 비논리적인 추론을 사용하는 '불충실한 비논리적 지름길(Unfaithful Illogical Shortcuts)'도 조사했습니다. 우리의 연구 결과는 CoT가 출력 평가에 유용할 수 있지만, 모델의 답변을 생성한 내부 과정의 완전한 설명은 아니며, 에이전트 또는 안전 필수(safety-critical) 환경에서는 신중하게 사용해야 함을 시사합니다.

코멘트: 제43회 국제 기계 학습 컨퍼런스(ICML 2026) 게재 주제: 인공지능(cs.AI); 계산 및 언어(cs.CL); 기계 학습(cs.LG) 인용: arXiv:2503.08679 [cs.AI] https://doi.org/10.48550/arXiv.2503.08679

제출 이력: v1) 2025년 3월 11일 (4,311 KB) v2) 2025년 3월 13일 (4,348 KB) v3) 2025년 3월 19일 (4,349 KB) v4) 2025년 6월 17일 (2,337 KB) v5) 2026년 5월 29일 (2,378 KB) v6) 2026년 6월 16일 (2,378 KB) 제출자: Iván Arcuschin

전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스 보기, 라이선스 보기 현재 탐색 컨텍스트: cs.AI | 이전 | 다음 | 신규 | 최근 | 2025-03 카테고리 탐색: cs, cs.CL, cs.LG

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기

북마크 및 인용 도구: Bibliographic Explorer, Connected Papers, Litmaps, scite.ai(스마트 인용)

코드, 데이터, 미디어: 이 논문과 관련된 코드·데이터 — alphaXiv, CatalyzeX 코드 파인더, DagsHub, Gotit.pub, Hugging Face, ScienceCast

데모: Replicate, Hugging Face Spaces

원문 보기

원문 보기 (영어)

--> Computer Science > Artificial Intelligence arXiv:2503.08679 (cs) [Submitted on 11 Mar 2025 ( v1 ), last revised 16 Jun 2026 (this version, v6)] Title: Chain-of-Thought Reasoning In The Wild Is Not Always Faithful Authors: Iván Arcuschin , Jett Janiak , Robert Krzyzanowski , Senthooran Rajamanoharan , Neel Nanda , Arthur Conmy View a PDF of the paper titled Chain-of-Thought Reasoning In The Wild Is Not Always Faithful, by Iv\'an Arcuschin and 5 other authors View PDF HTML (experimental) Abstract: Recent studies indicate that when faced with explicit biases in prompts, models often omit mentioning these biases in their Chain-of-Thought (CoT) output, revealing that verbalized reasoning can give an incorrect picture of how models arrive at conclusions (unfaithfulness). In this work, we show that unfaithful CoT also occurs on naturally worded, non-adversarial prompts without adding artificial biases or editing model outputs. We find that when separately presented with the questions "Is X bigger than Y?" and "Is Y bigger than X?", models sometimes produce superficially coherent arguments to justify systematically answering Yes to both or No to both, despite the contradiction. We present preliminary evidence that this is due to models' implicit biases towards Yes or No, labeling this Implicit Post-Hoc Rationalization. Our results reveal rates up to 13% for production models, and while frontier models are more faithful, none are entirely so, including thinking models like DeepSeek R1 (0.37%) and Sonnet 3.7 with thinking (0.04%). We also investigate Unfaithful Illogical Shortcuts, where models use subtly illogical reasoning to make speculative answers to hard math problems seem rigorously proven. Our findings indicate that while CoT can be useful for assessing outputs, it is not a complete account of the internal process that produced the model's answer and should be used with caution in agentic or safety-critical settings. Comments: Published at the 43rd International Conference on Machine Learning (ICML 2026) Subjects: Artificial Intelligence (cs.AI) ; Computation and Language (cs.CL); Machine Learning (cs.LG) Cite as: arXiv:2503.08679 [cs.AI] (or arXiv:2503.08679v6 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2503.08679 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Iván Arcuschin [ view email ] [v1] Tue, 11 Mar 2025 17:56:30 UTC (4,311 KB) [v2] Thu, 13 Mar 2025 17:49:58 UTC (4,348 KB) [v3] Wed, 19 Mar 2025 19:20:42 UTC (4,349 KB) [v4] Tue, 17 Jun 2025 17:59:57 UTC (2,337 KB) [v5] Fri, 29 May 2026 17:38:22 UTC (2,378 KB) [v6] Tue, 16 Jun 2026 17:36:22 UTC (2,378 KB) Full-text links: Access Paper: View a PDF of the paper titled Chain-of-Thought Reasoning In The Wild Is Not Always Faithful, by Iv\'an Arcuschin and 5 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI < prev | next > new | recent | 2025-03 Change to browse by: cs cs.CL cs.LG References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

추론 해석가능성 모델안전성 사고연쇄 arXiv