#온라인학습

무한 매개변수 LLM: 실시간 데이터로 가중치 생성·적응

이 논문은 실제 배포 환경에서 사용자가 제공하는 정보나 교정 내용을 프롬프트가 아닌 모델 가중치에 직접 학습시키는 '무한 매개변수 LLM(Infinite-Parameter LLM)' 아키텍처를 제안합니다. 작은 하이퍼네트워크(hypernetwork)가 런타임 데이터를 저순위(low-rank) 가중치 변조로 변환하고, 생성기의 잠재 코드에 대한 베이지안 신념을 온라인으로 갱신해 세션 동안 가중치를 지속적으로 재도출합니다. 이를 통해 저장 공간은 고정된 채 사실상 무한한 가중치를 활용할 수 있으며, 컨텍스트 창을 절약하고 세션 간 지속되며, 컨텍스트 내 학습보다 더 나은 일반화가 가능함을 평가 프로토콜로 검증합니다.