The Decoder • 15일 전

수학적 AI 안전 연구소, 암호 해독 불가 증명처럼 AI 안전성 증명 추구

IMP

7/10

핵심 요약

필즈 메달 수상자인 캐나다 수학자 제이콥 치머먼이 '수학적 AI 안전 연구소(MAISI)'를 설립했다. 이 연구소는 암호학자가 암호 체계의 해독 불가능성을 수학적으로 증명하듯, AI 시스템의 안전성을 수학적 증명으로 입증하는 것을 목표로 하며, 영지식 증명(zero-knowledge proof) 등의 도구를 활용할 계획이다.

번역된 본문

수학적 AI 안전 연구소(MAISI)는 암호학자들이 암호 체계를 해독할 수 없음을 증명하는 방식으로 AI의 안전성을 증명하고자 한다.

캐나다 수학자이자 최근 필즈 메달을 수상한 제이콥 치머먼이 수학적 AI 안전 연구소(Mathematical A.I. Safety Institute, MAISI)의 설립을 발표했다고 뉴욕타임스가 보도했다. 샌프란시스코 베이 지역에 위치한 이 독립 연구소는 2027년 1월부터 10~30명의 수학자들이 AI 안전 문제에 착수할 계획이다.

오픈AI의 안전 팀에도 합류하는 치머먼은 이 분야에 "현재 우리가 얻고 있는 것보다 훨씬, 훨씬 더 높은 수준의 안전 기준"이 필요하다고 말했다.

암호 체계의 경우 가능한 모든 공격을 시도해 보지 않고도 해독 불가능함을 증명할 수 있다. 하지만 AI에는 이런 지름길이 없다. 안전성은 실제 사용에서만 드러나며, MAISI에 따르면 '안전하다'는 것이 무엇을 의미하는지에 대한 명확한 정의조차 이론적으로 존재하지 않는다. MAISI가 가능하게 만들고자 하는 것이 바로 그런 종류의 증명이다.

목표는 시스템이 책임 있게 작동하고 올바른 결과를 산출하는지, 여러 AI 에이전트가 협력할 때 원치 않는 결과를 유발하지 않는지, 그리고 아직 아무도 발견하지 못한 취약점에도 시스템이 견딜 수 있음을 보여주는 것이다. 한 가지 도구로 활용될 수 있는 것은 영지식 증명(zero-knowledge proof)으로, 이를 통해 AI 연구소의 영업 비밀을 노출하지 않고도 시스템이 부정행위를 하지 않는다는 것을 입증할 수 있다.

원문 보기

원문 보기 (영어)

The Mathematical AI Safety Institute wants to prove AI is safe the way cryptographers prove codes are unbreakable Manuel Uth Sep 11, 2026 Canadian mathematician Jacob Tsimerman, a fresh Fields Medal recipient, has announced the founding of the Mathematical A.I. Safety Institute (MAISI). The independent research institute in the San Francisco Bay Area plans to start work in January 2027 with ten to thirty mathematicians tackling AI safety problems, the New York Times reports . Tsimerman, who is also joining OpenAI's safety team , says the field needs "a much, much higher level of safety standard than we’re currently getting." With an encryption scheme, you can prove it's unbreakable without trying every possible attack. AI has no such shortcut. Safety only shows up in practice, and according to MAISI, there isn't even a clear definition of what "safe" means, not even in theory. That's the kind of proof MAISI wants to make possible. The goal is to show that a system acts responsibly and produces correct results, that multiple AI agents working together don't trigger unwanted outcomes, and that systems can withstand vulnerabilities nobody has found yet. One tool could be zero-knowledge proofs , which let a system demonstrate it isn't cheating without exposing the trade secrets of AI labs. Ad Ad AI News Without the Hype – Curated by Humans Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section. Subscribe now Source: New York Times / MAISI | MAISI Ask about this article… Search

AI 안전 MAISI 영지식 증명 필즈 메달 OpenAI