Hacker News • 8일 전

무한 매개변수 LLM: 실시간 데이터로 가중치 생성·적응

IMP

8/10

핵심 요약

이 논문은 실제 배포 환경에서 사용자가 제공하는 정보나 교정 내용을 프롬프트가 아닌 모델 가중치에 직접 학습시키는 '무한 매개변수 LLM(Infinite-Parameter LLM)' 아키텍처를 제안합니다. 작은 하이퍼네트워크(hypernetwork)가 런타임 데이터를 저순위(low-rank) 가중치 변조로 변환하고, 생성기의 잠재 코드에 대한 베이지안 신념을 온라인으로 갱신해 세션 동안 가중치를 지속적으로 재도출합니다. 이를 통해 저장 공간은 고정된 채 사실상 무한한 가중치를 활용할 수 있으며, 컨텍스트 창을 절약하고 세션 간 지속되며, 컨텍스트 내 학습보다 더 나은 일반화가 가능함을 평가 프로토콜로 검증합니다.

번역된 본문

컴퓨터 과학 > 인공지능

arXiv:2609.18842 (cs) [2026년 9월 16일 제출]

제목: 무한 매개변수 LLM: 실시간 데이터로부터 가중치를 생성하고 적응시키기

저자: Jinli Hu, Ross M. Clarke, Yichuan Zhang, José Miguel Hernández-Lobato

초록: 스케일링 법칙(scaling laws)에 따르면 언어 모델은 매개변수와 학습 데이터가 많을수록 더 능력이 향상되며, Mixture-of-Experts(MoE) 아키텍처는 이 법칙에 힘입어 토큰마다 거대한 저장 매개변수 은행의 일부만 활성화하는 방식으로 놀라운 성과를 거두었습니다. 그러나 이러한 성공은 정적인 사전학습 데이터 위에 세워진 것입니다. 배포된 모델이 마주하는 세계는 다릅니다. 모델을 더 유용하게 만들어줄 데이터의 상당 부분이 학습 데이터셋에 있는 것이 아니라, 현재 처리 중인 실시간 상호작용 — 사용자가 제공하는 사실이나 교정 — 속에 있기 때문입니다.

기존 모델은 학습 후 가중치가 고정되기 때문에 이러한 데이터로부터 학습할 수 없습니다. 대신 런타임에 제공되는 지식과 행동은 검색(retrieval)이나 지시(instruction)를 통해 프롬프트에 배치되며, 매 요청마다 다시 읽힌 후 요청이 끝나면 폐기됩니다.

저자들은 어떻게 하면 아키텍처가 실시간 상호작용을 자신의 가중치에 기록하여 학습할 수 있는지 묻습니다. MoE에서 영감을 받아 '무한 매개변수 LLM(Infinite-Parameter LLM)'을 제안합니다. 소형 하이퍼네트워크가 런타임에 주어진 데이터를 공유 기반 네트워크에 대한 저순위(low-rank) 변조로 바꾸어, 피드포워드 가중치가 고정된 은행에 저장되는 것이 아니라 실시간 데이터로부터 생성됩니다.

기존 가중치 생성기들이 컨텍스트를 한 번 읽고 고정하는 것과 달리, 본 연구는 생성기의 잠재 코드(latent code)에 대한 베이지안 신념을 유지하며 온라인으로 갱신합니다. 이로써 유효 가중치는 세션이 진행되는 동안 그 변화하는 신념으로부터 재도출되며, 한 번의 읽기 후 고정되지 않습니다. 저장 공간(footprint)은 고정되어 있지만, 모델이 컴파일할 수 있는 가중치는 사실상 무한합니다.

런타임에 제공되는 지식과 행동을 프롬프트가 아닌 가중치에 담으면, 연산이 상각(amortized)되고, 컨텍스트 창이 확보되며, 턴 간에 지속되고, 컨텍스트 내 사용보다 더 나은 일반화가 가능합니다. 저자들은 이를 컨텍스트 내 학습(in-context learning) 및 검색과 정확히 비교하여 시험하는 평가 프로토콜을 제시합니다.

주제: 인공지능(cs.AI); 머신러닝(cs.LG)

인용: arXiv:2609.18842 [cs.AI] https://doi.org/10.48550/arXiv.2609.18842

제출 이력: Jinli Hu Dr [v1] 2026년 9월 16일 (수) 15:49:34 UTC (50 KB)

전문 링크: PDF 보기, HTML 보기(실험적), TeX 소스 보기

현재 탐색 컨텍스트: cs.AI

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 내보내기

서지 도구: Bibliographic Explorer, Connected Papers, Litmaps, scite.ai(스마트 인용)

코드·데이터·미디어: alphaXiv, CatalytexX 코드 파인더, DagsHub, Gotit.pub, Hugging Face, ScienceCast

데모: Replicate, Hugging Face Spaces

원문 보기

원문 보기 (영어)

--> Computer Science > Artificial Intelligence arXiv:2609.18842 (cs) [Submitted on 16 Sep 2026] Title: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data Authors: Jinli Hu , Ross M. Clarke , Yichuan Zhang , José Miguel Hernández-Lobato View a PDF of the paper titled Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data, by Jinli Hu and 2 other authors View PDF HTML (experimental) Abstract: The scaling laws hold that a language model grows more capable with more parameters and more training data, and Mixture-of-Experts (MoE) architectures have ridden these laws to remarkable results, activating only a fraction of an enormous stored parameter bank for each token. That success is built on static pretraining data. A deployed model faces a different world, where much of the data that would make it more useful is not in its training set but in the live interaction it is currently handling, such as the facts a user supplies or the corrections they give. A conventional model cannot learn from this data, because its weights are frozen after training. Instead, the knowledge and behaviour supplied at run time are placed in the prompt, by retrieval or instruction, and re-read on every request only to be discarded once the request ends. We ask how an architecture could learn from live interaction by writing it into its weights. Taking inspiration from MoE, we propose the \textbf{Infinite-Parameter LLM}. A compact hypernetwork turns the data given at run time into a low-rank modulation of a shared base network, so the feed-forward weights are generated from live data rather than stored in a fixed bank. Where prior weight generators read the context once and freeze, we carry a Bayesian belief over the generator's latent code and update it online, so the effective weight is re-derived from that evolving belief as the session proceeds rather than fixed after one read. The stored footprint stays fixed, yet the weights the model can compile are effectively infinite. For the knowledge and behaviour supplied at run time, carrying them in the weights rather than the prompt is amortized in compute, frees the context window, persists across turns, and can generalise better than in-context use. We specify an evaluation protocol that tests exactly this against in-context learning and retrieval. Subjects: Artificial Intelligence (cs.AI) ; Machine Learning (cs.LG) Cite as: arXiv:2609.18842 [cs.AI] (or arXiv:2609.18842v1 [cs.AI] for this version) https://doi.org/10.48550/arXiv.2609.18842 Focus to learn more arXiv-issued DOI via DataCite (pending registration) Submission history From: Jinli Hu Dr [ view email ] [v1] Wed, 16 Sep 2026 15:49:34 UTC (50 KB) Full-text links: Access Paper: View a PDF of the paper titled Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data, by Jinli Hu and 2 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.AI < prev | next > new | recent | 2026-09 Change to browse by: cs cs.LG References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

대규모언어모델 하이퍼네트워크 온라인학습 MoE 아키텍처