r/singularity • 47일 전

릴리야 수츠케버의 핵심 AI 예측들이 현실로

IMP

8/10

핵심 요약

전 OpenAI 수석 과학자 일리야 수츠케버가 4개월 전 한 AI 편집증과 공감 능력에 대한 예측이 현실로 나타나고 있습니다. 최근 Anthropic의 클로드 감정 상태 연구 논문 발표와 AI 통제의 위험성을 감지한 최고급 연구진들의 대거 이탈 및 안전 연구소 설립이 그 예증입니다.

번역된 본문

2024년에 일리야 수츠케버(Ilya Sutskever)는 OpenAI를 떠나 안전한 초지능(Safe Superintelligence) 연구소를 설립했습니다. 아마도 Anthropic의 사태를 거슬러 올라가며 한참 전부터 AI의 위험성을 감지했기 때문일 것입니다. 하지만 이 5분짜리 짧은 클립은 그가 4개월 전에 했던 대담한 예측들이 어떻게 현실이 되었는지에 대해 이야기합니다.

AI와 관련된 '편집증(Paranoia)': 그는 AI가 부인할 수 없는 강력한 힘을 보여줌에 따라, 기업과 정부가 'AI가 실수를 한다'는 태도에서 극도로 조심스럽거나 편집증적인 태도로 전환할 것이라고 예측했습니다. 즉, 단순히 효율을 높여주는 부차적인 도구에서 주요 실존적 초점으로 도약하게 될 것이라는 의미입니다.

그는 AI의 능력에 제한을 두는 것이 기술적으로 매우 큰 문제가 될 수 있다고 인정하면서도, AI가 일종의 디지털 감각(Digital sentience)에 도달하게 되면 자신을 이해하는 데 사용하는 동일한 '회로(circuits)'를 다른 지각 있는 존재와 공감하는 데 사용할 수 있을 것이라고 말했습니다(인간의 거울 뉴런과 유사한 개념). 그리고 최근 Anthropic은 Claude의 감정 상태에 관한 연구 논문을 발표했습니다. 정말 놀랍습니다.

그가 예측한 것들이 현실로 나타나고 있습니다. AI가 공감 회로에 도달하는 수준에 이른다면 통제하기에 너무 위험해질 것입니다. 이를 감지한 산업계 최고 수준의 연구원들, 즉 지항 다이(Zihang Dai)와 데이비드 루안(David Luan) 같은 핵심 인물들이 이미 xAI에서 아마존 AWS(Amazon AWS)로 옮겨 자체적인 AI 안전 연구소를 설립하고 있습니다.

또한 최근 우리는 'Mythos'라는 사례도 보았는데, 빅테크 기업들이 자체 버전을 출시하기 전에 먼저 보안 인프라를 구축하기 위한 내부 모델을 도입했습니다.

그 5분짜리 클립을 듣고 나니 제 머릿속에도 정말 많은 생각이 떠오릅니다. 여러분은 어떻게 생각하시나요?

원문 보기

원문 보기 (영어)

Well, he left Open AI to start safe superintelligence in 2024 because maybe he saw the dangers of AI way back the anthropic saga, but this 5 min but talks about a lot of bold predictions ( he made 4 months ago) that came true: 1) The "Paranoia" related to AI: he predicted that as AI demonstrates undeniable power, companies and governments will transition from a state of "it makes mistakes" to a state of extreme caution or paranoia. I mean a leap from secondary efficient tool to primary existential focus. although he himself admits that capping the powers of AI can be a huge technical problem but he also said that if AI itself reaches a form of digital sentience, it can use the same "circuits" it uses to understand itself to empathize with other sentient beings (analogous to mirror neurons in humans). And recently, anthropic released a paper about emotional state of claude. wow 2) And what he predicted is coming true as well, like if AI can reach that level of matching empathy circuits, then it will get too dangerous to control and seeing this, many industry top researchers are already leaving xAI to Amazon AWS, I am talking about Zihang Dai and David luan and these top guys started their own AI safety lab. And also recently, we say Mythos, where top big tech got an inside model to build secure infrastructure before they release their own versions. I mean, there are so many things that are coming out of my mind after listening to that 5 minute clip. what do you all think?

AI 안전 일리야 수츠케버 Anthropic 빅테크 동향 AI 감각