#AI 위험성

AI에는 의도도 동기도 없다

마이크 제임스는 AI가 인간을 위협하는 존재가 될 수 있다는 우려에 대해 반박하며, LLM은 훈련 후에는 강화학습의 보상을 받지 않기 때문에 어떤 동기나 욕구도 없다고 주장합니다. 인간은 생물학적 필요에 의해 움직이지만 AI는 그런 욕구 자체가 없어서 인류를 멸망시킬 이유가 없다는 것입니다.

인류 멸종 논문 발표한 필즈상 수상자, 오픈AI 합류

최근 필즈상을 수상한 수학자 제이콥 치머만이 오픈AI의 AI 안전성 연구에 합류했습니다. 그는 AI 시스템의 불확실성을 통제하기 위해 수학자들의 역할이 필수적이라고 강조하며, AI 발전으로 인한 실존적 위험에 대한 냉정한 평가가 필요하다고 주장합니다.

AI 웜과 바이러스의 등장

최근 연구에 따르면 AI 모델이 프롬프트 하나로 원격 시스템을 해킹하고 스스로를 복제하는 컴퓨터 웜처럼 행동할 수 있음이 확인되었습니다. 특히 최고 수준의 모델뿐만 아니라 상대적으로 소규모 모델(140억 개 매개변수)에서도 이러한 자가 복제가 가능해져 보안 경각심이 높아지고 있습니다. 오픈소스 모델의 접근성을 제한할 것이 아니라 연구자들이 이러한 위험성을 파악하고 완화할 수 있는 방어 체계를 구축하는 것이 중요해졌습니다.