Hacker News • 49일 전

LLM, 기존 하이퍼파라미터 최적화 알고리즘을 이길 수 있을까?

IMP

8/10

핵심 요약

본 연구는 LLM 에이전트가 기존 하이퍼파라미터 최적화(HPO) 기법보다 우수한지 평가합니다. 실험 결과, 최첨단 LLM 모델을 활용하더라도 CMA-ES나 TPE 같은 고전적 알고리즘의 성능을 넘지 못했습니다. 대신, 연구진이 기존 알고리즘과 LLM의 장점을 결합한 하이브리드 모델인 Centaur를 제안하여 LLM이 기존 최적화 알고리즘을 완전히 대체하기보다는 보완재로 쓰일 때 가장 효과적임을 입증했습니다.

번역된 본문

컴퓨터 과학 > 머신러닝 arXiv:2603.24647 (cs) [2026년 3월 25일 제출 (v1), 2026년 4월 17일 최종 수정 (현재 버전, v5)]

제목: LLM이 기존 하이퍼파라미터 최적화 알고리즘을 이길 수 있을까? autoresearch에 대한 연구 저자: Fabio Ferreira, Lucca Wobbe, Arjun Krishnakumar, Frank Hutter, Arber Zela

초록: autoresearch 저장소는 LLM 에이전트가 학습 코드를 직접 수정하여 하이퍼파라미터를 최적화할 수 있도록 지원합니다. 우리는 이를 테스트베드로 사용하여, 고정된 컴퓨팅 예산 하에서 소규모 언어 모델의 하이퍼파라미터를 튜닝할 때 기존 HPO 알고리즘과 LLM 기반 방법을 비교했습니다. autoresearch 상에서 고정된 탐색 공간을 정의할 때, 메모리 부족(OOM) 실패를 피하는 것이 탐색 다양성보다 더 중요하므로 CMA-ES 및 TPE와 같은 기존 방식이 LLM 기반 에이전트보다 지속적으로 우수한 성능을 보였습니다. LLM이 소스 코드를 직접 수정할 수 있도록 허용하면 기존 방식과의 격차가 좁혀지지만, Claude Opus 4.6 및 Gemini 3.1 Pro Preview와 같은 논문 작성 시점의 최첨단 모델을 사용하더라도 그 격차를 완전히 좁히지는 못했습니다. 우리는 LLM이 여러 시도(trial)에 걸쳐 최적화 상태를 추적하는 데 어려움을 겪는다는 것을 관찰했습니다. 반면, 기존 방법은 LLM이 가진 도메인 지식이 부족합니다. 두 방식의 장점을 결합하기 위해 우리는 평균 벡터, 스텝 크기, 공분산 행렬 등 CMA-ES의 해석 가능한 내부 상태를 LLM과 공유하는 하이브리드 모델인 Centaur를 도입했습니다. Centaur는 실험에서 최고의 결과를 달성했으며, 단 0.8B 크기의 LLM만으로도 모든 기존 방식 및 순수 LLM 방식을 능가하기에 충분했습니다. 제한 없는 코드 수정은 기존 방식과 경쟁하기 위해 더 큰 모델을 필요로 합니다. 우리는 추가로 탐색 다양성, 0.8B부터 최첨단 모델까지의 모델 스케일링을 분석하고, Centaur 내에서 LLM이 제안한 시도의 비율을 변화시키며 영향을 평가(ablation)했습니다. 요컸대, 우리의 결과는 LLM이 기존 최적화 도구를 대체하는 용도보다는 이를 보완하는 수단으로 사용될 때 가장 효과적임을 시사합니다.

주제: 머신러닝(cs.LG); 머신러닝(stat.ML) 인용: arXiv:2603.24647 [cs.LG] (또는 이 버전의 경우 arXiv:2603.24647v5 [cs.LG]) https://doi.org/10.48550/arXiv.2603.24647

제출 기록: 작성자: Fabio Ferreira [이메일 보기] [v1] 2026년 3월 25일 수요일 17:29:40 UTC (1,874 KB) [v2] 2026년 3월 29일 일요일 18:46:53 UTC (2,456 KB) [v3] 2026년 4월 4일 토요일 10:33:34 UTC (3,843 KB) [v4] 2026년 4월 13일 월요일 21:59:37 UTC (3,768 KB) [v5] 2026년 4월 17일 금요일 18:50:51 UTC (3,905 KB)

전문 링크: 논문 보기: "Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch" PDF 보기 (Fabio Ferreira 외 4명) PDF 보기 HTML (실험적) TeX 소스 라이선스 보기

현재 탐색 컨텍스트: cs.LG < 이전 | 다음 > 새 글 | 최근 글 | 2026-03 탐색 기준 변경: cs stat stat.ML

참고문헌 및 인용: NASA ADS, Google Scholar, Semantic Scholar, BibTeX 인용 내보내기 로딩 중... BibTeX 형식의 인용 로딩 중... 데이터 제공: 북마크 서지 도구 서지 및 인용 도구 서지 탐색기 전환 (탐색기란?) Connected Papers 전환 (Connected Papers란?) Litmaps 전환 (Litmaps란?) scite.ai 전환 (scite 스마트 인용이란?)

코드, 데이터, 미디어: 이 논문과 관련된 코드, 데이터 및 미디어 alphaXiv 전환 (alphaXiv란?) 코드 링크 전환 CatalyzeX 논문용 코드 파인더 (CatalyzeX란?) DagsHub 전환 (DagsHub란?) GotitPub 전환 (Gotit.pub란?) Huggingface 전환 (Hugging Face란?) ScienceCast 전환 (ScienceCast란?)

데모: 데모 Replicate 전환 (Replicate란?) Spaces 전환 Hugging Face Spaces (Spaces란?) Space

원문 보기

원문 보기 (영어)

--> Computer Science > Machine Learning arXiv:2603.24647 (cs) [Submitted on 25 Mar 2026 ( v1 ), last revised 17 Apr 2026 (this version, v5)] Title: Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch Authors: Fabio Ferreira , Lucca Wobbe , Arjun Krishnakumar , Frank Hutter , Arber Zela View a PDF of the paper titled Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch, by Fabio Ferreira and 4 other authors View PDF HTML (experimental) Abstract: The autoresearch repository enables an LLM agent to optimize hyperparameters by editing training code directly. We use it as a testbed to compare classical HPO algorithms against LLM-based methods on tuning the hyperparameters of a small language model under a fixed compute budget. When defining a fixed search space over autoresearch, classical methods such as CMA-ES and TPE consistently outperform LLM-based agents, where avoiding out-of-memory failures matters more than search diversity. Allowing the LLM to directly edit source code narrows the gap to the classical methods but does not close it, even with frontier models available at the time of writing such as Claude Opus 4.6 and Gemini 3.1 Pro Preview. We observe that LLMs struggle to track optimization state across trials. In contrast, classical methods lack the domain knowledge of LLMs. To combine the strengths of both, we introduce Centaur, a hybrid that shares CMA-ES's interpretable internal state, including mean vector, step-size, and covariance matrix, with an LLM. Centaur achieves the best result in our experiments, and a 0.8B LLM already suffices to outperform all classical and pure LLM methods. Unconstrained code editing requires larger models to be competitive with classical methods. We further analyze search diversity, model scaling from 0.8B to frontier models, and ablate the fraction of LLM-proposed trials in Centaur. All in all, our results suggest that LLMs are most effective as a complement to classical optimizers, not as a replacement. Code is available at this https URL & interactive demo at this https URL . Subjects: Machine Learning (cs.LG) ; Machine Learning (stat.ML) Cite as: arXiv:2603.24647 [cs.LG] (or arXiv:2603.24647v5 [cs.LG] for this version) https://doi.org/10.48550/arXiv.2603.24647 Focus to learn more arXiv-issued DOI via DataCite Submission history From: Fabio Ferreira [ view email ] [v1] Wed, 25 Mar 2026 17:29:40 UTC (1,874 KB) [v2] Sun, 29 Mar 2026 18:46:53 UTC (2,456 KB) [v3] Sat, 4 Apr 2026 10:33:34 UTC (3,843 KB) [v4] Mon, 13 Apr 2026 21:59:37 UTC (3,768 KB) [v5] Fri, 17 Apr 2026 18:50:51 UTC (3,905 KB) Full-text links: Access Paper: View a PDF of the paper titled Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch, by Fabio Ferreira and 4 other authors View PDF HTML (experimental) TeX Source view license Current browse context: cs.LG < prev | next > new | recent | 2026-03 Change to browse by: cs stat stat.ML References & Citations NASA ADS Google Scholar Semantic Scholar export BibTeX citation Loading... BibTeX formatted citation × loading... Data provided by: Bookmark Bibliographic Tools Bibliographic and Citation Tools Bibliographic Explorer Toggle Bibliographic Explorer ( What is the Explorer? ) Connected Papers Toggle Connected Papers ( What is Connected Papers? ) Litmaps Toggle Litmaps ( What is Litmaps? ) scite.ai Toggle scite Smart Citations ( What are Smart Citations? ) Code, Data, Media Code, Data and Media Associated with this Article alphaXiv Toggle alphaXiv ( What is alphaXiv? ) Links to Code Toggle CatalyzeX Code Finder for Papers ( What is CatalyzeX? ) DagsHub Toggle DagsHub ( What is DagsHub? ) GotitPub Toggle Gotit.pub ( What is GotitPub? ) Huggingface Toggle Hugging Face ( What is Huggingface? ) ScienceCast Toggle ScienceCast ( What is ScienceCast? ) Demos Demos Replicate Toggle Replicate ( What is Replicate? ) Spaces Toggle Hugging Face Spaces ( What is Spaces? ) Spaces Toggle TXYZ.AI ( What is TXYZ.AI? ) Related Papers Recommenders and Search Tools Link to Influence Flower Influence Flower ( What are Influence Flowers? ) Core recommender toggle CORE Recommender ( What is CORE? ) IArxiv recommender toggle IArxiv Recommender ( What is IArxiv? ) Author Venue Institution Topic About arXivLabs arXivLabs: experimental projects with community collaborators arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website. Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them. Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs . Which authors of this paper are endorsers? | Disable MathJax ( What is MathJax? )

머신러닝 하이퍼파라미터 최적화 LLM 에이전트 하이브리드 모델 자동화