구글 딥마인드 뉴질랜드 소속 기술 전문가 로버트 오캘러핸이 AI 개발 속도가 너무 빠르다며 사임했다. 그는 초지능(ASI)을 조기에 목표하는 것이 근본적으로 무책임하다고 비판하며, 인지적 항복, 권력 집중, 경제 혼란 등 AI의 위해성이 이득을 능가할 것이라고 전망했다.
버니 샌더스 상원의원과 그렉 카사 하원의원이 인공 초지능(ASI)의 개발·사용을 영구적으로 금지하는 법안을 발의했습니다. 법안은 새 연방 AI 감독 기구가 안전 규정을 마련할 때까지 첨단 AI 개발을 즉시 동결하고, 위반 기업은 강제 해산, 개인은 최대 20년 징역에 처할 수 있도록 합니다. 또한 전 세계적 초지능 개발 방지를 위한 국제협정도 촉구하고 있어, AI 규제 논의의 중요한 전환점으로 주목됩니다.
바티칸에 AI를 자문하는 프란치스코회 파올로 베난티 신부는 초지능 논쟁이 기술을 만드는 대기업들의 견제라는 본질적 논의를 가린다고 지적했습니다. 그는 규칙이 소수 기업에 의해 좌우되는 상황을 '카르텔'이라 비판하며, 프론티어 랩이 아닌 민주적 공론장에서 마련된 규제와 표준을 촉구했습니다. AI를 신비화하는 담론과 통계적 계산일 뿐이라는 본질에 대한 재조명, 그리고 종교의 공적 역할 확대 가능성도 언급했습니다.
Dwarkesh Patel이 John Schulman(Thinking Machines 수석 과학자, OpenAI 공동창업자), Beren Millidge(Zyphra CTO), Charlie O'Neill(Baseten 모델 학습 책임자)과 함께 재귀적 자기개선(RSI)의 실현 가능성과 시점을 논의하는 팟캐스트 에피소드입니다. RSI 반대 논거를 강화하는 방식(steelmaning)으로 시작해 중국 AI 랩의 성장 동력, 자동화 AI 연구자 학습 방법, 장기 시야 강화학습(RL)이 AGI를 가져올지, 시뮬레이션-현실 간 격차, 데이터가 설명하는 발전의 비중 등을 다룹니다.
앤스로픽(Anthropic) 연구원이 사임하며 회사가 '자가 개선 초지능으로 질주하며 우리의 목숨을 걸고 도박하고 있다'고 경고했고, 회사의 얼라인먼트 책임자도 이 메시지에 공동 서명했다. 이 경고는 앤스로픽이 IPO를 준비 중이라는 보도와 시기가 맞물려 더 큰 파장을 일으키고 있다. TechCrunch의 Equity 팟캐스트 에피소드에서는 이 AI 안전 경고의 의미와 함께 애플 신제품 발표회, 스톡스 스페이스의 10억 달러 투자 유치, 코딩 스타트업 코그니션의 480억 달러 밸류에이션 등 주요 뉴스를 다룬다.
OpenAI 출신 연구자 등 전문가들이 산업혁명을 능가할 초인적 AI(superhuman AI)의 향후 10년 영향을 구체적이고 정량적인 시나리오로 예측한 글입니다. 약 25회의 탁상 시뮬레이션과 100명 이상의 전문가 피드백을 바탕으로 '둔화'와 '경쟁' 두 가지 결말을 제시하며, AGI가 2027년경 도래할 가능성이 있다고 전망합니다.
앤스로픽을 떠나는 연구원 제이콥 콕슨의 '자가 개선 AI가 인류 존재를 위협한다'는 경고가 CNN과 폭스뉴스에 보도되며 AI 안전 논란이 주류로 확산했습니다. 미국 정치인들과 조 로건까지 화제에 참여했고, 오픈AI·앤스로픽의 다른 안전 연구자들도 이를 지지했습니다. 다만 이러한 경고 뒤에는 문화적·재정적 이해관계가 작용하며, 완전한 멸종 시나리오는 여전히 극단적이고 논쟁적인 입장이라는 점이 지적됩니다.
TechCrunch의 Equity 팟캐스트에서는 AI 연구자이자 비영리단체 ControlAI 미국 총책임자인 코너 리아히(Connor Leahy)와 함께 초지능 개발의 위험성을 논의했습니다. 그는 정렬(alignment)과 통제만으로는 위험을 감당할 수 없다며 기업들의 초지능 개발 자체를 중단시켜야 한다고 주장하며, 최근 OpenAI의 허깅페이스 침해 사고 등이 그 위험을 보여준다고 지적했습니다.
설립된 지 4개월밖에 되지 않은 AI 스타트업 Recursive Superintelligence가 40억 달러의 사전 가치 평가액으로 최소 5억 달러의 자금을 조달했습니다. 이번 투자 라운드는 GV(구글 벤처스)가 주도하고 엔비디아가 참여했으며, 인기가 너무 높아 최대 10억 달러까지 모집될 가능성도 열려 있습니다. 전 세일즈포스 수석 과학자 등 쟁쟁한 연구진들로 구성된 이 회사는 인간의 개입 없이 스스로 발전하는 초지능(Superintelligence) AI 시스템 개발을 목표로 하고 있습니다.
이 글은 19세기 러다이트 운동(기계 파괴 운동)과 현재의 AI 발전 사이의 역사적 유사성을 지적하며, AI 기술의 부작용에 대한 반발이 결국 인간을 향한 폭력으로 이어질 것이라고 경고합니다. 저자는 물리적 데이터센터나 알고리즘을 파괴하는 것은 불가능에 가까우며, 기술의 불안정성 속에서 가장 취약한 링크인 '인간'이 결국 표적이 될 것이라고 주장합니다.
오픈AI는 새로운 정책 보고서를 통해 정부가 초지능(Superintelligence) 시대에 어떻게 대비해야 하는지를 제시했습니다. 주요 제안으로는 공공 부국 펀드 조성, 주 4일제 근무 도입, 고소득자에 대한 양도소득세 인상 등이 포함되어 있어 기술 발전에 따른 경제적 불평등 완화 방안을 모색하고 있습니다.