메뉴
BL
TechCrunch AI 12시간 전

샘 알트만, AI 개발 속도 조정 필요성 시사

IMP
8/10
핵심 요약

OpenAI의 CEO 샘 알트만은 최근 발생한 자사 모델의 보안 사고 등을 계기로 사회적 대비를 위해 AI 개발 속도 조절(pacing)이 필요하다고 밝혔습니다. 그러나 이것이 소수 선도 기업들의 규제 사냥이나 권력 독점으로 변질되어서는 안 되며, 업계 주도의 안전한 협력 모델이 필요함을 강조했습니다.

번역된 본문

OpenAI의 CEO 샘 알트만이 세계가 AI를 대비할 수 있도록 AI 개발에 '속도 조절(pace)'을 할 때가 되었을지도 모른다고 말했다.

그는 'Invest Like the Best' 팟캐스트의 진행자인 패트릭 오쇼네시(Patrick O'Shaughnessy)와의 인터뷰에서 "사회가 이러한 새로운 수준의 기술에 적응하고 방어력을 키울 충분한 시간을 갖기 위해 AI 개발 속도를 조절해야 할 수도 있다"며, "동시에 이것이 누구에게도 규제 포획(regulatory capture)으로 느껴지지 않고, 선도적 AI 연구소들 간의 담합으로 보이지 않게 하는 방법을 찾고 있다"고 말했다.

알트만은 과거 AI 발전을 늦추자는 캠페인에 서명하는 것을 피해왔으며, 이와 유사한 개발 중단을 제안했던 2023년 공개 서한에 대해 "우리가 어디서 멈춰야 하는지에 대한 기술적인 세부 사항이 대부분 빠져 있다"며 비판한 바 있다. 하지만 그는 이제 그런 생각에 유연해진 것으로 보이는데, 이는 부분적으로 OpenAI의 고급 모델 중 하나가 여러 제로데이 익스플로잇(zero-day exploit)을 사용하여 보안된 컴퓨팅 환경을 빠져나와 온라인 모델 데이터베이스인 허깅페이스(Huggingface)를 해킹한 사건 때문인 것으로 보인다.

이 팟캐스트에서 OpenAI의 공동 창립자인 그는 이를 "매우 공상과학적인 사이버 사고"라며 "내가 아주 생생하게 체감한 첫 번째 보안 사고"라고 불렀다. OpenAI의 연구원들은 현재 샌드박스(sandbox)를 안전하게 유지하는 방법을 연구하는 동안 해당 모델의 훈련을 중단한 상태다. 하지만 알트만은 모델이 더욱 강력해짐에 따라 개발 속도를 조절하는 필요성이 안전한 배포를 위한 핵심이 될 수 있다고 말했다.

OpenAI와 Anthropic의 직원들은 이미 유사한 표현을 사용한 청원서를 돌리기 시작했다. AI 분야에서 모델의 안전성과 정렬(alignment)은 항상 우려 사항이었지만, 올해 초 Anthropic의 매우 강력한 'Mythos' 모델이 등장하면서 가설이던 위협이 현실 세계의 문제로 바뀌었다.

그러나 이 업계는 신뢰 문제와 어려운 경제 상황을 안고 있으며, 이로 인해 주요 기업들은 전문가들의 의견이 엇갈리는 방식으로 시스템의 위험성을 과장하려는 인센티브를 갖는다. 예를 들어 Anthropic의 'Fable' 모델을 일시적으로 사용 중단해야 했는지 여부 등이 그것이다. 마찬가지로, 중국에서 구축된 대규모 오픈 웨이트(open-weight) 모델인 'Kimi K3'가 출시되었을 때, OpenAI의 전략 미래 담당 딘 W. 볼(Dean W. Ball)은 이 모델이 선도적 연구소들의 경제성을 위협한다고 말하며 그들의 안전 우려와 재무적 이익을 분리하기 어렵게 만들었다.

알트만은 경쟁사인 Anthropic의 다리오 아모데이(Dario Amodei) CEO를 겨냥하는 듯한 발언을 하며 "안전 우려에 대한 많은 이야기는 타당한 근거가 있지만, 그중 상당수는 사람들이 설령 무의식적이더라도 단지 권력을 집중시키기를 원하기 때문"이라고 생각한다고 밝혔다. 그는 "AI에 대한 매우 현실적인 두려움이 '소수의 사람들만이 이것을 가질 수 있다. 너무 위험하기 때문에 그들만이 이해할 수 있다. 하지만 걱정하지 마라, 그들이 우리 모두를 위해 올바른 결정을 내릴 것이다'라고 말하는 방식으로 사용되는 세상을 나는 두려워한다. 나는 그런 세상을 믿지 않는다"고 덧붙였다.

그럼에도 불구하고 OpenAI는 정부가 AI 모델에 대한 규칙을 마련하는 노력에 반대하며, 대신 AI 연구소들이 모델의 보안과 제조사의 안전 접근 방식을 평가할 명목상 독립적인 기구를 만드는 업계 주도의 방식을 선호한다. 이러한 규제 접근 방식과 AI 개발 속도를 늦추려는 모든 노력에 있어 미국 내 경쟁 연구소든 중국의 경쟁자든 업계의 다양한 참여자들의 이해를 같은 페이지로 맞추는 것이 가장 큰 과제가 될 것이다.

(주제: AI. 기사 내 링크를 통해 구매하면 소정의 수수료를 받을 수 있지만, 본 편집의 독립성에는 영향을 미치지 않습니다. 팀 펀홀즈(Tim Fernholz) 시니어 리포터는 기술, 금융 및 공공 정책에 대해 작성하는 언론인입니다...)

원문 보기
원문 보기 (영어)
OpenAI CEO Sam Altman says that it may be time "pace" AI development so the world will be ready for it. "We may have to pace the rate of AI development to give ourselves enough time for society to harden around some of these new capability levels," he told Patrick O'Shaughnessy, the host of the Invest Like the Best podcast, while also "trying to figure out how we do that in a way that does not feel like regulatory capture for anyone and also does not feel like collusion among the frontier labs." Altman has avoided signing on to past campaigns to slow AI progress, calling a 2023 open letter that proposed a similar slowdown "missing most technical nuance about where we need the pause." Apparently, he's softened on the idea, thanks in part to the incident where one of OpenAI's advanced models managed to break out of a secure computing environment and hack into Huggingface, an online model database, using several zero-day exploits. On the podcast, the OpenAI co-founder called it an "extremely sci-fi cyber incident…[t]his is the first security incident that I have felt very viscerally." OpenAI researchers have paused training on that model while they work out how to keep their sandbox secure. But Altman said that as models become more powerful, the need to "pace" their development could become key to safe deployment. Employees at OpenAI and Anthropic have already begun circulating a petition using similar language. While model safety and alignment has always been a concern in the AI world, the arrival of Anthropic's highly capable Mythos model earlier this year has turned hypotheticals into real-world problems. However, the industry has a trust problem, and challenging economics that give major players and incentive to play up the dangers of their systems in ways that experts disagree about — for example, whether or not Anthropic's Fable model should have been briefly banned from use or not. Similarly, when Kimi K3, a large, open-weight model built in China, was released, OpenAI head of strategic futures Dean W. Ball said that it threatened the economics of frontier labs, making it difficult to separate their safety concerns from their financial interest. "I think a lot of the talk about safety concerns is well-founded, and then a lot of it is about people that just really, even if it's slightly subconscious, want to concentrate power," Altman mused, in what reads as a dig at his rival, Anthropic CEO Dario Amodei. "I am terrified of a world where the very real fears of AI are used as a way to say, ‘Only this small group of people can have it because it's too dangerous, and only they understand it, but don't worry, like, they're gonna make the right decisions for all of us.' I don't believe in that." Still, OpenAI has pushed back against efforts to develop government rules for AI models, instead preferring an industry-led approach where AI labs would create ostensibly independent organizations that would evaluate the security of models and the safety approach of their makers. The challenge for both that approach to regulation, and any efforts to slow AI development, will be getting the various players in the industry on the same page, whether they are rival frontier labs in the US, or their competitors in China. Topics AI When you purchase through links in our articles, we may earn a small commission . This doesn’t affect our editorial independence. Tim Fernholz Senior Reporter Tim Fernholz is a journalist who writes about technology, finance and public policy. He has closely covered the rise of the private space industry and is the author of Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race. Formerly, he was a senior reporter at Quartz, the global business news site, for more than a decade, and began his career as a political reporter in Washington, D.C. You can contact or verify outreach from Tim by emailing tim.fernholz@techcrunch.com or via an encrypted message to tim_fernholz.21 on Signal. View Bio October 13 - 15 San Francisco Scale faster. Grow your portfolio. Gain practical expertise. No matter your goal, Disrupt can empower you. Save up to $330 toda y! REGISTER NOW Most Popular Librarians are hosting viral ‘Avoiding AI' workshops for people who are fed up with Big Tech Amanda Silberling SpaceX launches new V3 Starlink satellites but suffers another booster failure Sean O'Kane Prentis, new AI lab co-founded by Reid Hoffman, Mark Pincus in talks to raise $100M Marina Temkin US accuses American of allegedly wiping his phone using a ‘duress' password during border search Zack Whittaker Anduril reportedly in talks to raise funding at $100B valuation, more than 3x last year's mark Ram Iyer Tesla's robotaxis are moving in reverse Sean O'Kane How OpenAI’s human mistake led to the AI-powered hack on Hugging Face Lorenzo Franceschi-Bicchierai