메뉴
HN
Hacker News • 19일 전

연구 가속화: OpenAI 내부에서 본 풍경

IMP
9/10
핵심 요약

OpenAI가 자동화 AI 연구 인턴 목표를 달성했다고 발표하며, 2028년 3월까지 완전 자동화 AI 연구자 구축을 목표로 하고 있다. 연구자들이 코딩 에이전트를 하루 종일 병렬로 사용하면서 연구 생산성이 크게 가속화되고 있으며, 자동화 연구가 정렬(alignment) 문제 해결에도 기여할 수 있다고 강조했다. 다만 안전성 리스크가 수용 불가능하다고 판단되면 개발을 늦추거나 중단하겠다고 밝혔다.

번역된 본문

2026년 9월 6일 | 연구 간행물 | 안전성

연구 가속화: OpenAI 내부에서 본 풍경

AGI가 전 인류에게 혜택을 주려면 민주적으로 통치되어야 한다고 우리는 믿습니다. 이는 고성능 AI 시스템의 능력, 위험, 안전장치에 대한 정보에 입각한 공개 토론을 통해서만 가능합니다. 전 세계 사람들이 프론티어 AI의 미래 궤적을 이해해야, AI가 어떻게 발전하는지에 대해 의미 있는 목소리를 낼 수 있습니다.

구체적인 위험, 사건, 안전장치에 대한 투명성은 필요하지만 충분하지 않습니다. 우리는 대중이 최고 성능의 시스템이 어떻게 개발되고 있으며, 프론티어 연구소 내부에서 어떻게 연구 진전을 이끌고 있는지도 이해할 필요가 있다고 믿습니다.

우리는 인간의 감독 하에 딥러닝과 정렬(alignment) 연구를 진전시켜 반복적 개선을 가능하게 하는 자동화 AI 연구자를 안전하게 구축하는 것을 목표로 합니다. 우리의 측정에 따르면, 작년 가을에 발표한 올해 9월까지 자동화 연구 인턴을 확보한다는 목표를 이제 달성했습니다. '연구 인턴'이란 인간의 지시 아래 잘 정의된 연구 과제를 수행할 수 있는 시스템을 의미하며, 여기에는 숙련된 연구자가 며칠 걸릴 과제도 포함됩니다.

또한 2028년 3월까지 자동화 AI 연구자를 만들기 위한 작업도 순조롭게 진행되고 있습니다.

올해 들어 OpenAI 연구자들의 일상 업무는 크게 변화했습니다. 연구자들은 하루 종일 코딩 에이전트를 사용하며(종종 동시에 여러 세션을 실행) 총 사용량이 빠르게 증가하고 있고, 그 증가 속도는 OpenAI의 다른 팀들을 앞지르고 있습니다. 연구자들은 더 빠르게 코드를 기여하고 더 많은 실험을 수행하고 있습니다. 연구자들이 에이전트를 사용하는 방식도 변화하고 있습니다. 에이전트가 점점 더 복잡한 작업을 처리하고 있으며, 성공률도 높아지고 있습니다.

AI 연구는 잠재적 병목이 많은 복잡한 과정이므로 전체적인 진전 속도가 이러한 특정 지표의 성장을 따라가지는 못할 수 있습니다. 하지만 전반적으로 이러한 결과는 에이전트 도구가 연구 진전을 의미 있게 가속화하고 있다는 내부의 폭넓은 인상과 일치합니다.

여전히 연구 우선순위를 정하고, 어떤 아이디어와 결과를 추구할지 판단하며, 시스템을 확장, 중단, 배포할지 결정하는 것은 사람입니다. 책임 있게 수행된다면, 자동화 AI 연구는 인간 복지를 직접 향상시키고 OpenAI의 미션을 진전시키는 모델을 만들어낼 것이라고 믿습니다. 이는 첨단 지능의 비용을 낮춰 전 세계 사람들이 혜택을 누리게 할 수 있습니다.

우리가 이 작업을 추구하는 이유 중 하나는 자동화 연구가 정렬 문제를 해결하고 점점 강력해지는 AI에 대한 방어 수단을 구축하는 데 도움이 될 수 있기 때문입니다. 자동화 AI 연구자는 자동화 안전 또는 정렬 연구자이기도 할 수 있습니다. 더 강력하고 정렬된 시스템은 핵심 인프라를 보호하고, 위험한 AI 에이전트로부터 방어하며, 새로운 보호 조치를 개발하는 데 도움이 될 수 있습니다.

이러한 것들은 유용한 자동화 연구 역량을 개발해야 할 이유이지만, 빠른 RSI(재귀적 자기 개선)가 반드시 추구해야 할 결과라는 의미는 아닙니다. 진행 여부와 방식은 인간의 통제를 유지할 수 있는 능력, 그리고 혜택과 위험에 대한 정보에 입각한 민주적 선택에 달려 있어야 합니다.

우리는 아직 정렬된 완전한 RSI에 안전하게 도달하는 방법을 알지 못합니다. 우리는 역량과 함께 정렬 및 안전 조치를 확장하기 위해 노력하고 있습니다. 하지만 정렬과 안전성의 진전이 따라잡을 것이라고 가정할 수 없으며, 더 강력한 시스템은 감시하기가 더 어려워질 수 있습니다. 신중한 정렬과 안전 작업이 이 노력의 중심에 있으며, 그 시작은 오늘날 에이전트 코딩 시스템에서 관찰되는 안전 문제를 측정하고 완화하는 것입니다.

계속 진행하는 것이 수용할 수 없는 안전 위험을 초래한다고 판단될 때마다, 우리는 충분히 안전장치를 마련할 수 없는 시스템의 개발이나 배포를 늦추거나 중단하는 등 적절히 대응할 것입니다. 최근 Hugging Face 사건 이후, 우리는 이 약속을 실행에 옮겨 배포 예정인 최신 모델의 강화학습(RL) 훈련을 일시 중단했습니다.

원문 보기
원문 보기 (영어)
September 6, 2026 Research Publication Safety Research acceleration: The view inside OpenAI Loading… Share For AGI to benefit all of humanity, we believe it must be democratically governed. This can only happen through an informed public debate about the capabilities, risks and safeguards of highly capable AI systems. People everywhere need to understand the likely future trajectory of frontier AI, so they can have a meaningful voice in how it develops. Transparency about specific risks, incidents and safeguards is necessary, but not sufficient. We believe the public also needs to understand how the most capable systems are developing, and how they are driving research progress, inside of frontier labs. We aim to safely build an automated AI researcher that can work under human supervision to further progress on deep learning and alignment, enabling iterative improvements. According to our measurements, we have now reached the goal, announced ⁠ (opens in a new window) last fall, of having an automated research intern by September of this year. By “research intern,” we mean a system that can carry out well-defined research tasks under human direction, including tasks that would take a skilled researcher a few days. We are making strong progress toward creating an automated AI researcher by March of 2028. Over the course of this year, OpenAI researchers’ daily work has changed substantially. Researchers are using coding agents throughout the day (often in concurrent sessions) and total usage is rapidly increasing, outpacing growth among other OpenAI teams. Researchers are contributing code faster and running more experiments. The ways researchers use agents are changing, too: agents are handling increasingly complex tasks, and succeeding at them more often. AI research is a complex process with many potential bottlenecks, so the overall pace of progress likely won’t keep pace with these specific metrics. But on the whole, these findings are consistent with the broader impression many of us have internally that agentic tools are meaningfully accelerating research progress. People still set our research priorities, judge which ideas and results to pursue, and decide whether to scale, pause, or deploy systems. If it is done responsibly, we believe automated AI research will yield models that directly enhance human welfare and advance OpenAI’s mission. It can bring down the cost of advanced intelligence so that people worldwide can benefit. We are pursuing this work in part because automated research could help us solve alignment and build defenses against increasingly capable AI. An automated AI researcher can also be an automated safety or alignment researcher. More capable, aligned systems could help secure critical infrastructure, defend against dangerous AI agents, and develop new protective measures. These are reasons to develop useful automated research capabilities, but they do not mean that rapid RSI is necessarily an outcome we should pursue. Whether and how to proceed must depend on our ability to preserve human control and on informed democratic choices about the benefits and risks. We do not yet know how to safely get all the way to aligned, full RSI. We are working to scale alignment and safety measures alongside capabilities. But we cannot assume that progress in alignment and safety will keep pace, and more capable systems can become harder to monitor. Careful alignment and safety work is at the center of this effort, and it starts with measuring and mitigating the safety problems we see today in agentic coding systems. Whenever we find that proceeding would pose an unacceptable safety risk, we will respond appropriately including by slowing or stopping our development or deployment of systems we find ourselves unable to sufficiently safeguard. After the recent Hugging Face incident, we put this commitment into action ⁠ , pausing reinforcement learning (RL) training on our latest models intended for deployment while we further hardened and red-teamed our research environments and expanded coverage of our monitoring systems. This did not halt all research: some workloads resumed under stronger controls, while others remained paused. We have raised our safety and alignment standards and moved safety work deeper into the model lifecycle, requiring stronger evidence of aligned behavior throughout all of training. Today we are providing a detailed snapshot of how agentic systems have contributed to our progress toward RSI in recent months. Agentic systems are new and rapidly changing, and our measurement efforts are still preliminary. By sharing these early results and the methods behind them, we aim to inform the public, encourage a norm of public disclosure, and help the field move toward shared standards of measurement. Ultimately, as we wrote in our frontier policy blueprint ⁠ , we believe that we and other companies should be required to publicly track our progress toward RSI. Even without such a requirement, we plan to continue being transparent about our RSI progress. We will evolve our transparency approach as our measurement techniques and understanding improve, while balancing the need to protect security and proprietary information. 1. Coding agents are reshaping daily work for OpenAI researchers At the start of this year, the median researcher ranked by agent usage at OpenAI was using coding agents only in modest amounts. By mid-August, the median researcher was integrating agents daily into their work, using more than $600 per day of inference at API prices. The 90th percentile user in our research organization now uses more than $7,000 of tokens per day. Before June 2026, total agent runtime across the research organization was still below that of total human labor. That has since changed. In terms of a standard 8 hour workday, as of mid-August, in total, the research organization uses 3.1 agent-workdays of effort for every workday of human labor. Another way of looking at this is to understand how many researchers use highly concurrent workflows (e.g., running 4 or more agents simultaneously). As shown below, this number is increasing. These figures include the daily peaks of both agents started directly by the user and subagents created downstream from those the user launched directly. 2. Researchers are writing more code and running more experiments Much of AI research can be seen as a labor-intensive process with the goal of integrating a new improvement to model intelligence or performance into one of our core models. The process depends on many steps, and capabilities advance when all the steps go right together: Researchers have to design new improvements, write evaluations to judge model performance, write infrastructure to test these improvements at scale, catch bugs as well as unsafe or misaligned behavior during training, and integrate winning ideas into a core training run. A failure at any part of the research process can constrain the entire loop. Writing code and running experiments are two major activities that researchers do as part of their work, and we see evidence that these processes are accelerating. These data points are relatively easy to measure, but can be hard to interpret. As automation progresses, the tasks which are least automatable will take on a larger share of researcher effort and will become the important bottlenecks to future progress. Compute is another gating factor for progress, and may become more important over time as other bottlenecks diminish. Through 2026, the number of experiments per active experimenter has increased, with August 2026 being an all-time high since tracking began in Jan 2025. This is correlated with increased Codex adoption, though we note that our available compute has also grown significantly since 2025. 3. The work researchers use agents for is changing Both qualitative impressions and internal data indicate that the mix of tasks researchers delegate to coding agen
관련 소식