마크다운 파일 하나로 GPT-5.5 성능을 20점 이상 끌어올린 마이크로소프트 '스킬옵트(SkillOpt)'
마이크로소프트와 중국 3개 대학 연구진이 개발한 '스킬옵트(SkillOpt)'는 AI 에이전트의 지시 문서(마크다운 파일)를 마치 모델 가중치처럼 훈련 및 최적화하는 새로운 방법론입니다. 이를 통해 GPT-5.5와 같은 최신 모델의 절차적 작업 성능을 평균 20점 이상 향상시켰으며, 최적화된 지시 문서는 다른 모델이나 작업 환경으로도 원활하게 이전(Transfer)되는 뛰어난 활용성을 입증했습니다.
단순한 마크다운(Markdown) 파일 하나만으로도 절차적 작업(Task)에서 GPT-5.5의 성능을 20점 이상 끌어올릴 수 있다고 합니다. 이는 마이크로소프트와 중국의 세 대학이 모델 가중치를 훈련하는 것과 동일한 방식으로 AI 에이전트용 지시 문서를 훈련하는 방법인 '스킬옵트(SkillOpt)'가 제시하는 새로운 가능성입니다.
이러한 종류의 지시 문서는 '스킬(Skill)'이라고 불리며 상용 제품에서 이미 흔하게 사용되고 있습니다. 예를 들어, Anthropic은 작년에 Claude에 모듈식 스킬 시스템을 추가하여 작업에 따라 주제별 지시문, 스크립트 및 리소스를 자동으로 불러오도록 구현했습니다. 스킬은 일반적으로 작업 절차, 도구 사용 규칙, 출력 형식 및 알려진 오류 패턴을 하나로 묶으며, 현재 업계의 표준적인 접근 방식으로 자리 잡았습니다.
하지만 마이크로소프트 연구팀의 논문에 따르면, 지금까지 이러한 스킬은 사람이 직접 작성하거나, 언어 모델이 한 번의 생성으로 만들어내거나, 느슨하게 자가 수정(Self-revised)하는 방식으로만 만들어졌습니다. 이런 기존 방식들은 실제 최적화 도구(Optimizer)처럼 동작하지 않으며, 스킬이 실제로 성능을 개선하는지도 보장하지 않습니다.
스킬 문서가 훈련 가능한 상태(Trainable state)로 전환되다 스킬옵트(SkillOpt)는 타겟 모델(Target model)의 가중치를 고정시킨 상태에서, 스킬 문서를 외부의 훈련 가능한 상태(Trainable state)로 취급합니다. 그리고 별도의 두 번째 언어 모델이 최적화 도구(Optimizer) 역할을 수행합니다. 이 최적화 모델은 에이전트 구동 로그를 읽고 반복되는 오류와 성공 패턴을 찾은 뒤, 특정 구절을 추가, 삭제 또는 교체하는 등 스킬에 제한적인 수정안을 제안합니다. 이러한 변경 사항은 보류된 검증 세트(Held-out validation set)에서 더 나은 성능을 보일 때만 승인 및 채택됩니다.
연구진은 딥러닝의 여러 핵심 개념을 텍스트 수준으로 매핑하여 적용했습니다. '학습률(Learning rate)'과 유사한 개념을 적용해 한 번의 스텝(Step)당 적용될 수 있는 수정량에 상한선을 두었습니다. 또한, 스케줄러(Scheduler)가 세대(Epoch)가 거듭될수록 수정 폭(Step size)을 점진적으로 줄입니다. 거부된 수정안들은 버퍼(Buffer)에 저장되었다가 추후 반성적 돌아보기(Reflection)를 위한 부정적 예제(Negative examples)로 활용됩니다. 각 세대의 마지막에 이루어지는 느린 업데이트(Slow update)는 기존 모델 학습에서의 기울기 평활화(Gradient smoothing)가 작동하듯, 훈련 라운드 전반에 걸쳐 안정적인 수정 방향을 유지하는 데 도움을 줍니다.
이 방법이 실용적인 이유는 훈련과 배포(Deployment)가 명확하게 분리되어 있기 때문입니다. 최적화 모델은 오직 훈련 과정에서만 실행되며, 훈련이 완료되면 전체 시스템에서 완전히 제외됩니다. 실제 추론(Inference) 시점에서는 타겟 모델이 단순히 300~2,000 토큰 정도 길이의 일반 마크다운 텍스트를 컨텍스트(Context)로 전달받게 됩니다.
모든 비교 방법들을 일관되게 압도하다 연구진은 검색, 스프레드시트, 문서 분석, 수학, 그리고 행동 기반(Embodied action) 작업 등을 다루는 6개의 벤치마크에서 이 접근 방식을 테스트했습니다. GPT-5.5와 훨씬 작은 규모인 Qwen3.5-4B 등 7개의 시스템이 타겟 모델로 사용되었습니다. 작업은 일반적인 다이렉트 챗(Direct chat) 환경은 물론 Codex 및 Claude Code 같은 에이전트 환경에서 모두 실행되었습니다.
모든 조합을 통틀어 스킬옵트(SkillOpt)는 가장 뛰어난 성능을 기록했거나 최고의 비교 결과와 동등한 성능을 달성했습니다. 이는 사람이 직접 작성한 스킬, LLM이 단 한 번 생성한 스킬, 그리고 Trace2Skill, TextGrad, GEPA, EvoSkill과 같은 전문화된 최적화 방법론들과의 비교에서도 마찬가지였습니다. 특히 다이렉트 챗 환경의 GPT-5.5에서는 6개 벤치마크 평균 성능이 약 23점이나 크게 향상되었습니다. 성능 향상이 가장 크게 나타난 부분은 스프레시트 편집과 같이 엄격한 형식 요구사항이나 도구 사용이 필수적인 작업들이었습니다.
또한 더 작은 규모의 모델들 역시 큰 혜택을 보았는데, 저자들은 이를 통해 잘 훈련된 스킬이 소형 모델들이 본래 가중치(Weights) 내에 결여하고 있는 절차적 지식(Procedural knowledge)을 효과적으로 보완해 준다는 증거로 보고 있습니다.
모델과 환경을 가리지 않는 스킬의 이전(Transferability) 능력 또 다른 핵심적인 발견은 바로 이전 가능성(Transferability)입니다. 대규모 모델에서 훈련된 스킬은 동일한 계열의 더 작은 모델의 성능 또한 향상시킵니다. Codex 루프 내에서 훈련된 스프레드시트 스킬은 아무런 수정 없이 Claude Code 환경에서도 그대로 작동하여, Claude Code에서 직접 훈련한 스킬과 동일한 수준의 성능을 이끌어냈습니다. 또한 올림피아드 수학 문제로 최적화된 수학 스킬은 재훈련(Retraining) 없이도 관련 벤치마크에서 여전히 높은 성능 향상을 달성했습니다.
연구진이 진행한 어블레이션 연구(Ablation studies)는 이 방법이 어떻게 안정성을 유지하는지를 잘 설명해 줍니다. 수정 예산(Edit budget)에 한계를 설정하지 않으면, 스킬은 개정을 거듭할수록 본래의 목적에서 너무 멀리 표류(Drift)해 버립니다. 거부된 수정안을 보관하는 버퍼가 없다면, 최적화 모델은 똑같은 실패한 시도를 계속 반복하게 됩니다. 무엇보다 세대(Epoch) 말미에 진행되는 느린 업데이트(Slow update)를 제거할 경우, 스프레드시트 벤치마크(SpreadsheetBench)에서 20점 이상의 가장 큰 성능 하락이 발생했습니다.