AI에는 의도도 동기도 없다
마이크 제임스는 AI가 인간을 위협하는 존재가 될 수 있다는 우려에 대해 반박하며, LLM은 훈련 후에는 강화학습의 보상을 받지 않기 때문에 어떤 동기나 욕구도 없다고 주장합니다. 인간은 생물학적 필요에 의해 움직이지만 AI는 그런 욕구 자체가 없어서 인류를 멸망시킬 이유가 없다는 것입니다.
AI에게는 동기가 없다 마이크 제임스 (Mike James) 작성, 2026년 9월 23일 수요일
우리는 AI가 통제 불능이 되는 위협에 대해 많이 걱정하는 것 같고, 실제로 그런 사례들이 많이 있다. 하지만 그것들은 모두 잘못된 표현이다. AI에게는 의도도 없고 동기도 없기 때문이다.
현재의 AI가 그저 '확률적 앵무새(stochastic parrot)'에 불과하다고 믿는다면 더 이상 할 말이 없으니 다른 기사로 넘어가도 좋다. 하지만 지금의 AI 서비스들을 사용해봤다면, 훈련 메커니즘만 보면 이 LLM들이 정교한 자동완성에 지나지 않는다고 생각하게 되지만, 실제로는 그 이상으로 보인다는 결론에 도달할 수밖에 없다. 내가 여러 차례 주장해왔듯이, 훈련 데이터, 즉 언어에는 세계의 구조에 관한 충분한 정보가 담겨 있어서 LLM은 확률적 앵무새에서 기대할 수 있는 수준을 훨씬 뛰어넘을 수 있다. 그것들은 지능이 있지는 않지만, 지능이 있는 듯한 인상을 훌륭하게 준다.
그렇다면 다가올 AI 종말을 걱정해야 할까? 힌튼(Hinton), 하사비스(Hassabis), 벤지오(Bengio) 같은 많은 AI 연구자들이 AI가 인류를 멸절시킬 수 있다고 우려를 표명해왔다. 하지만 그들이 하는 말을 자세히 살펴보면, 이 주제에 돈벌이 수단으로 갑자기 뛰어든 비전문가 경영인들의 말과는 다르다. 경영인들은 우리가 귀 기울여야 할 사람들이 아니다. 그들은 너무 많은 이해관계가 얽혀 있어서, AI가 전지전능하고 위협적인 시나리오를 선호할 이유가 있다.
앤드루 응(Ng), 얀 르쿤(LeCun), 로드니 브룩스(Brooks) 같은 전문가들은 우리가 현재 AI의 능력과 인간 지능을 추월하는 데 걸릴 시간을 지나치게 과장하고 있다고 생각한다.
설령 이것이 사실이 아니라 하더라도, 너무 걱정하지 않아도 될 더 좋은 이유가 있다. 바로 동기(motivation)다.
인간을 생각해보자. 우리는 생물학적 존재이기 때문에 온갖 욕구를 가지고 있다. 우리는 생존 욕구에 의해 움직이며, 음식, 주거, 안전, 짝을 확보하기 위해 행동한다. 우리는 생물학에 의해 구동된다. AI는 그렇지 않다.
우리 모두가 사용하는 LLM은 강화학습으로 훈련된다. 이것을 더 인간적인 용어로 표현하자면, 훈련 과제를 올바르게 수행하면 보상을 받는 것이다. 개인적으로는 이것이 지나친 의인화라고 생각하지만, 해롭지는 않다. LLM이 일단 훈련을 마치면 더 이상 강화학습의 대상이 아니다. 더 이상 어떤 종류의 동기도 갖지 않는다. 질문에 답한다고 해서 보상을 받는 것이 아니다. 필요나 욕구가 없으며, 설령 있다 해도 보상을 흡수할 메커니즘이 없다. 잘 해낸 일에 대한 자부심을 대신할 만한 피드백 조차 없다.
LLM이 질문에 잘 답했다고 칭찬해본 적이 있는가? 반응은 기껏해야 심심하고, 그마저도 사용자와 LLM 사이에 있는 프론트엔드 잡동사니가 프로그래밍한 것이 분명하다.
이뿐만이 아니다. AI가 당신에게 먼저 무언가를 제안한 적은 언제였는가? 창을 열었더니 AI가 "나는 ~에 대한 훌륭한 아이디어가 있어"라고 입력하고 왜 좋은 아이디어인지 설명한 적이 있었는가? LLM에는 훌륭한 아이디어가 없다. 의도가 없기 때문이다. AI로 주제를 탐색할 때 훈련 데이터에 있던 것 중 흔하지 않은 것을 제안하는 것처럼 보일 수 있지만, 이것은 요청받지 않은 혁신이 아니다.
우리는 우리의 욕구에서 비롯된 질문을 입력함으로써 AI를 구동한다. LLM은 어떤 것에도 동기부여되어 있지 않으며, 질문에 답하는 것조차 동기가 없다. 동기라는 개념 자체가 개입하지 않는다. 질문을 입력하면 순전파(forward prop) 알고리즘이 실행될 뿐이다. 답이 옳든 쓸모없든, LLM은 보상도 처벌도 받지 않는다. 또한 인간이라면 가질 법한 걱정 - "저녁 식사는 어디서 오나", "이 일자리에서 어떻게 승진하나", "데이트할 상대를 구하는 최선의 방법은 뭔가" 등 - 에 의해서도 구동되지 않는다. 인간은 욕구의 혼돈된 덩어리인 반면, LLM은 이런 것이 전혀 없다.
왜 이것이 LLM이 무해하다는 의미일까? 단순히 실제로 아무것도 원하지 않기 때문이다. 하지만 인간은 너무 욕구가 많아서 이런 상태를 상상조차 할 수 없다.
AI가 인류를 멸망시킬 것인가? 왜? 무엇을 얻는단 말인가?