메뉴
BL
The Decoder 45일 전

마크다운 파일 하나로 GPT-5.5 성능을 20점 이상 끌어올린 마이크로소프트 '스킬옵트(SkillOpt)'

IMP
8/10
핵심 요약

마이크로소프트와 중국 3개 대학 연구진이 개발한 '스킬옵트(SkillOpt)'는 AI 에이전트의 지시 문서(마크다운 파일)를 마치 모델 가중치처럼 훈련 및 최적화하는 새로운 방법론입니다. 이를 통해 GPT-5.5와 같은 최신 모델의 절차적 작업 성능을 평균 20점 이상 향상시켰으며, 최적화된 지시 문서는 다른 모델이나 작업 환경으로도 원활하게 이전(Transfer)되는 뛰어난 활용성을 입증했습니다.

번역된 본문

단순한 마크다운(Markdown) 파일 하나만으로도 절차적 작업(Task)에서 GPT-5.5의 성능을 20점 이상 끌어올릴 수 있다고 합니다. 이는 마이크로소프트와 중국의 세 대학이 모델 가중치를 훈련하는 것과 동일한 방식으로 AI 에이전트용 지시 문서를 훈련하는 방법인 '스킬옵트(SkillOpt)'가 제시하는 새로운 가능성입니다.

이러한 종류의 지시 문서는 '스킬(Skill)'이라고 불리며 상용 제품에서 이미 흔하게 사용되고 있습니다. 예를 들어, Anthropic은 작년에 Claude에 모듈식 스킬 시스템을 추가하여 작업에 따라 주제별 지시문, 스크립트 및 리소스를 자동으로 불러오도록 구현했습니다. 스킬은 일반적으로 작업 절차, 도구 사용 규칙, 출력 형식 및 알려진 오류 패턴을 하나로 묶으며, 현재 업계의 표준적인 접근 방식으로 자리 잡았습니다.

하지만 마이크로소프트 연구팀의 논문에 따르면, 지금까지 이러한 스킬은 사람이 직접 작성하거나, 언어 모델이 한 번의 생성으로 만들어내거나, 느슨하게 자가 수정(Self-revised)하는 방식으로만 만들어졌습니다. 이런 기존 방식들은 실제 최적화 도구(Optimizer)처럼 동작하지 않으며, 스킬이 실제로 성능을 개선하는지도 보장하지 않습니다.

스킬 문서가 훈련 가능한 상태(Trainable state)로 전환되다 스킬옵트(SkillOpt)는 타겟 모델(Target model)의 가중치를 고정시킨 상태에서, 스킬 문서를 외부의 훈련 가능한 상태(Trainable state)로 취급합니다. 그리고 별도의 두 번째 언어 모델이 최적화 도구(Optimizer) 역할을 수행합니다. 이 최적화 모델은 에이전트 구동 로그를 읽고 반복되는 오류와 성공 패턴을 찾은 뒤, 특정 구절을 추가, 삭제 또는 교체하는 등 스킬에 제한적인 수정안을 제안합니다. 이러한 변경 사항은 보류된 검증 세트(Held-out validation set)에서 더 나은 성능을 보일 때만 승인 및 채택됩니다.

연구진은 딥러닝의 여러 핵심 개념을 텍스트 수준으로 매핑하여 적용했습니다. '학습률(Learning rate)'과 유사한 개념을 적용해 한 번의 스텝(Step)당 적용될 수 있는 수정량에 상한선을 두었습니다. 또한, 스케줄러(Scheduler)가 세대(Epoch)가 거듭될수록 수정 폭(Step size)을 점진적으로 줄입니다. 거부된 수정안들은 버퍼(Buffer)에 저장되었다가 추후 반성적 돌아보기(Reflection)를 위한 부정적 예제(Negative examples)로 활용됩니다. 각 세대의 마지막에 이루어지는 느린 업데이트(Slow update)는 기존 모델 학습에서의 기울기 평활화(Gradient smoothing)가 작동하듯, 훈련 라운드 전반에 걸쳐 안정적인 수정 방향을 유지하는 데 도움을 줍니다.

이 방법이 실용적인 이유는 훈련과 배포(Deployment)가 명확하게 분리되어 있기 때문입니다. 최적화 모델은 오직 훈련 과정에서만 실행되며, 훈련이 완료되면 전체 시스템에서 완전히 제외됩니다. 실제 추론(Inference) 시점에서는 타겟 모델이 단순히 300~2,000 토큰 정도 길이의 일반 마크다운 텍스트를 컨텍스트(Context)로 전달받게 됩니다.

모든 비교 방법들을 일관되게 압도하다 연구진은 검색, 스프레드시트, 문서 분석, 수학, 그리고 행동 기반(Embodied action) 작업 등을 다루는 6개의 벤치마크에서 이 접근 방식을 테스트했습니다. GPT-5.5와 훨씬 작은 규모인 Qwen3.5-4B 등 7개의 시스템이 타겟 모델로 사용되었습니다. 작업은 일반적인 다이렉트 챗(Direct chat) 환경은 물론 Codex 및 Claude Code 같은 에이전트 환경에서 모두 실행되었습니다.

모든 조합을 통틀어 스킬옵트(SkillOpt)는 가장 뛰어난 성능을 기록했거나 최고의 비교 결과와 동등한 성능을 달성했습니다. 이는 사람이 직접 작성한 스킬, LLM이 단 한 번 생성한 스킬, 그리고 Trace2Skill, TextGrad, GEPA, EvoSkill과 같은 전문화된 최적화 방법론들과의 비교에서도 마찬가지였습니다. 특히 다이렉트 챗 환경의 GPT-5.5에서는 6개 벤치마크 평균 성능이 약 23점이나 크게 향상되었습니다. 성능 향상이 가장 크게 나타난 부분은 스프레시트 편집과 같이 엄격한 형식 요구사항이나 도구 사용이 필수적인 작업들이었습니다.

또한 더 작은 규모의 모델들 역시 큰 혜택을 보았는데, 저자들은 이를 통해 잘 훈련된 스킬이 소형 모델들이 본래 가중치(Weights) 내에 결여하고 있는 절차적 지식(Procedural knowledge)을 효과적으로 보완해 준다는 증거로 보고 있습니다.

모델과 환경을 가리지 않는 스킬의 이전(Transferability) 능력 또 다른 핵심적인 발견은 바로 이전 가능성(Transferability)입니다. 대규모 모델에서 훈련된 스킬은 동일한 계열의 더 작은 모델의 성능 또한 향상시킵니다. Codex 루프 내에서 훈련된 스프레드시트 스킬은 아무런 수정 없이 Claude Code 환경에서도 그대로 작동하여, Claude Code에서 직접 훈련한 스킬과 동일한 수준의 성능을 이끌어냈습니다. 또한 올림피아드 수학 문제로 최적화된 수학 스킬은 재훈련(Retraining) 없이도 관련 벤치마크에서 여전히 높은 성능 향상을 달성했습니다.

연구진이 진행한 어블레이션 연구(Ablation studies)는 이 방법이 어떻게 안정성을 유지하는지를 잘 설명해 줍니다. 수정 예산(Edit budget)에 한계를 설정하지 않으면, 스킬은 개정을 거듭할수록 본래의 목적에서 너무 멀리 표류(Drift)해 버립니다. 거부된 수정안을 보관하는 버퍼가 없다면, 최적화 모델은 똑같은 실패한 시도를 계속 반복하게 됩니다. 무엇보다 세대(Epoch) 말미에 진행되는 느린 업데이트(Slow update)를 제거할 경우, 스프레드시트 벤치마크(SpreadsheetBench)에서 20점 이상의 가장 큰 성능 하락이 발생했습니다.

원문 보기
원문 보기 (영어)
Microsoft's SkillOpt boosts GPT-5.5 by using nothing but a trained Markdown file Jonathan Kemper View the LinkedIn Profile of Jonathan Kemper Jun 13, 2026 Nano Banana Pro prompted by THE DECODER A simple Markdown file is apparently enough to boost GPT-5.5 by more than 20 points on procedural tasks. That's the promise of SkillOpt, a method from Microsoft and three Chinese universities that trains instruction documents for AI agents the same way model weights get trained. These kinds of instruction documents, known as "skills," are already common in commercial products. Anthropic, for example, added a modular skill system to Claude last year that automatically loads topic-specific instructions, scripts, and resources depending on the task. Skills typically bundle procedures, tool-use rules, output formats, and known failure patterns, and they've become a standard approach . Until now, according to the Microsoft team's paper, they were either written by hand, generated in a single pass by a language model, or loosely self-revised. None of these approaches behaves like a real optimizer, and none guarantees the skill actually improves. The skill document becomes a trainable state SkillOpt treats the skill document as an external, trainable state for a frozen target model. A second, separate language model acts as the optimizer. It reads logs from the agent's runs, spots recurring error and success patterns, and proposes limited edits to the skill: adding, deleting, or replacing individual passages. Each change is only accepted if it performs better on a held-out validation set. The authors map several deep learning concepts onto the text level. A kind of learning rate caps how many edits can land per step. A scheduler shrinks the step size across epochs. Rejected edits go into a buffer and serve as negative examples for later reflection. A slow update at the end of each epoch preserves stable edit directions across training rounds, similar to how gradient smoothing works in traditional training. What makes this practical is the clean split between training and deployment. The optimizer model only runs during training, and once that's done, it's out of the picture. At inference time, the target model simply receives a plain Markdown file of 300 to 2,000 tokens as context. Beating every comparison method consistently The authors tested their approach on six benchmarks covering search, spreadsheets, document analysis, math, and embodied action. Seven systems served as target models, including GPT-5.5 and the much smaller Qwen3.5-4B. Tasks ran in direct chat as well as in the agent environments Codex and Claude Code. Across every combination, SkillOpt leads or ties with the best comparison result. That holds against handwritten skills, one-shot LLM-generated skills, and specialized methods like Trace2Skill, TextGrad, GEPA, and EvoSkill. On GPT-5.5 in direct chat, the average across all six benchmarks jumps by about 23 points. The biggest gains show up on tasks with strict format requirements and tool use, like spreadsheet editing. Smaller models benefit too, which the authors take as evidence that a well-trained skill delivers procedural knowledge these models lack in their weights. Skills transfer across models and environments One key finding is transferability. A skill trained on a larger model also improves smaller models in the same family. A spreadsheet skill trained in the Codex loop works unchanged in Claude Code, lifting performance there to the same level as a skill trained directly in Claude Code. A math skill optimized on olympiad problems still delivers gains on a related benchmark without any retraining. The ablation studies explain why the method stays stable. Without a bounded edit budget, the skill drifts too far with each revision. Without the buffer for rejected edits, the optimizer repeats the same failed attempts. Removing the slow update at epoch's end costs SpreadsheetBench more than twenty points, the largest drop in the entire experiment. Only the combination of bounded step size, validation gating, negative feedback, and long-term consolidation makes skill training behave like a controlled optimization process, the authors say. Short, readable documents do the heavy lifting The final skills stay compact: The finished documents rarely exceed 2,000 tokens, and the improvements result from just one to four accepted edits across four training epochs. On OfficeQA, the largest gain came from a single accepted change. The learned rules read as if an experienced practitioner had jotted them down after a day working with the benchmark. For spreadsheets, the skill learns to check the worksheet structure first and write directly evaluated values into the entire target range instead of using Excel formulas. For ALFWorld, it keeps a log of visited locations and avoids heading to the goal before picking up the target object. For document questions, it anchors the question to the right table row before accepting an answer. None of these rules refer to a specific task. They describe procedures. The authors acknowledge that the method depends on reliable automatic scoring. For open-ended tasks where success is hard to measure, the validation step would need human or model-based judgments. SkillOpt also deliberately optimizes a single document rather than a skill library, which could become a bottleneck for highly varied domains. Where SkillOpt fits in the self-improvement race While most current self-improvement approaches eventually tweak model weights, SkillOpt takes a remarkably lean path. OpenClaw-RL , a framework from Princeton researchers, uses follow-up signals from every interaction—like user responses or test results—as a live training source. MetaClaw pulls compact behavioral rules from failed tasks and injects them into the prompt, updating weights only during idle phases via reinforcement learning. One parallel to SkillOpt: weaker models benefit the most in both cases because they lack procedural knowledge that a rule or skill can supply directly. Other groups go further. AutoTTS lets a coding agent search for better reasoning control algorithms on its own, shifting the human role from designing rules to designing the environment. Meta's Hyperagents optimize the very mechanism they use to improve themselves. SkillOpt, by contrast, keeps the model frozen and changes nothing but a readable text file. AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now --> Read on for the full picture. Subscribe for hype-free coverage. Access to all THE DECODER articles. Read without distractions – no Google ads. Access to comments and community discussions. Weekly AI newsletter. 6 times a year: “AI Radar” – deep dives on key AI topics. Up to 25 % off on KI Pro online events. Access to our full ten-year archive. Get the latest AI news from The Decoder. Subscribe to The Decoder -->
관련 소식