Hacker News • 26일 전

단일 트랜스포머 계층, 전체 파라미터 RL 학습과 동일한 효과 입증

IMP

9/10

핵심 요약

대형 언어 모델(LLM)의 강화학습(RL) 시 모델의 모든 파라미터를 업데이트하는 대신, 단일 트랜스포머 계층(레이어)만 학습해도 전체 학습 효과의 대부분을 달성하거나 능가할 수 있다는 연구 결과입니다. 수학적 추론 및 코딩 등 다양한 작업에서 실험한 결과, 학습 효과는 모델 중간 부분의 특정 계층에 집중되어 있는 것으로 나타났습니다. 이는 막대한 컴퓨팅 자원이 소모되는 기존의 전체 파라미터 강화학습 방식의 효율성을 크게 뒤집을 수 있는 중요한 발견입니다.

번역된 본문

제목: 단일 계층으로 충분한가? 단일 트랜스포머 계층 학습이 전체 파라미터 강화학습(RL)과 동일한 효과를 달성할 수 있음 저자: Zijian Zhang 외 6인

초록: 강화학습(RL)은 대형 언어 모델(LLM)의 사후 학습에 있어 핵심적인 구성 요소가 되었지만, RL을 통한 모델의 적응이 트랜스포머 계층들에 걸쳐 어떻게 분포되는지에 대해서는 거의 알려져 있지 않습니다. 기존의 접근 방식은 일반적으로 모든 모델 파라미터를 균일하게 업데이트하며, 이는 암묵적으로 모든 계층이 사후 학습에서 얻은 성능 향상에 동일하게 기여한다고 가정합니다.

이 연구에서는 계층별 체계적인 연구를 통해 이러한 가정에 이의를 제기합니다. 놀랍게도 단일 트랜스포머 계층을 학습하는 것만으로도 전체 파라미터를 대상으로 한 RL 학습이 달성한 성능 향상의 대부분을 회복할 수 있으며, 어떤 경우에는 이를 능가하기까지 한다는 것을 발견했습니다.

이 현상을 정량화하기 위해 개별 계층을 단독으로 학습했을 때 전체 RL 학습을 통해 얻은 성능 향상의 회복 비율을 측정하는 '계층 기여도(Layer contribution)'라는 개념을 도입했습니다. Qwen3, Qwen2.5 등 두 가지 모델 계열, GRPO, GiGPO, Dr. GRPO 등 세 가지 RL 알고리즘, 그리고 수학적 추론, 코드 생성, 에이전트 의사결정 등 다양한 작업 영역에 걸쳐 7개 모델을 테스트한 결과, 매우 안정적인 패턴을 관찰했습니다. 즉, 강화학습을 통한 성능 향상은 소수의, 그리고 많은 경우 단일 트랜스포머 계층에 매우 집중되어 있었습니다.

더욱 흥미로운 점은 일관된 구조적 패턴이 나타난다는 것입니다. 기여도가 높은 계층은 트랜스포머 스택의 '중간 부분'에 집중되어 있으며, 입력과 출력에 가까운 양끝의 계층은 기여도가 상당히 낮았습니다. 이러한 계층별 기여도 순위는 데이터셋, 작업, 모델 계열 및 RL 알고리즘에 관계없이 강한 상관관계를 유지했습니다.

원문 보기

원문 보기 (영어)

--> Computer Science > Machine Learning arXiv:2607.01232 (cs) [Submitted on 1 Jul 2026] Title: Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training Authors: Zijian Zhang , Rizhen Hu , Athanasios Glentis , Dawei Li , Chung-Yiu Yau , Hongzhou Lin , Mingyi Hong View a PDF of the paper titled Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training, by Zijian Zhang and 6 other authors View PDF HTML (experimental) Abstract: Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms. Subjects: Machine Learning (cs.LG) ; Computation and Language (cs.CL) Cite as: arXiv:2607.01232 [cs.LG] (or arXiv:2607.01232v1 [cs.LG] for this version) https://doi.org/10.48550/arXiv.2607.01232 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Zijian Zhang [ view email ] [v1] Wed, 1 Jul 2026 17:59:54 UTC (268 KB) Full-text links: Access Paper: View a PDF of the paper titled Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training, by Zijian Zhang and 6 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.LG < prev | next > new | recent | 2026-07 Change to browse by: cs cs.CL References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

강화학습 대형언어모델 효율적파인튜닝 트랜스포머 연구