AI는 과학자의 일을 줄여주지 못하고 '더 많은 일을 더 대충' 하게 만든다
프린스턴대와 워싱턴대 등 연구진의 이론적 경제학 논문은 LLM이 연구 시간을 절약해주면 오히려 과학자의 시간 가치가 높아져 기존 프로젝트의 깊이 있는 작업을 희생하고 새 프로젝트를 시작하는 쪽으로 몰린다고 주장한다. 모델 분석 결과 세 가지 시나리오 중 두 가지에서 연구의 철저함이 오히려 저하되며, AI가 자발적 심층 작업 단계를 가속할 때만 연구 품질이 개선된다.
AI는 과학자들이 더 적은 일을 더 잘하게 만드는 것이 아니라, 더 많은 일을 더 대충 하게 만들 수 있다는 연구 결과가 나왔다.
언어 모델이 완벽하게 작동하더라도 연구를 개선하는 것이 아니라 오히려 악화시킬 수 있다는 것이다. 새로운 이론 연구에 따르면 AI가 시간을 절약해주기 때문에 연구자들은 각 프로젝트에 더 적은 노력을 쏟게 된다고 한다.
언어 모델은 가설 수립부터 데이터 분석, 논문 작성까지 과학의 모든 단계를 가속화할 것으로 기대받고 있다. AI가 지루한 반복 작업을 처리하면 연구자들이 실제로 사고할 시간을 더 갖게 되리라는 것이 자연스러운 희망이다.
그러나 프린스턴대, 워싱턴대 등의 연구진이 발표한 이론 경제학 논문은 이러한 가정에 반박한다. AI가 과학자의 업무를 덜어주면 그 과학자의 시간은 더욱 가치 있게 된다. 기존 프로젝트에 쓰는 한 시간은 새 프로젝트를 시작하는 데 쓸 수 없는 시간이다. 경제학자들은 이를 '기회비용(opportunity cost)'이라 부르며, 이 논문의 모델은 이 개념에 기반한다.
저자들은 분석을 위해 의도적으로 LLM을 이상화했다. 오류를 유발하지 않고 무시할 만한 재정적 비용으로 시간 비용을 줄여주는 도구로 간주했는데, 이는 기술의 잘 알려진 약점으로부터 순수한 시간 절약 효과를 분리하기 위한 설정이다.
과학적 노력에 대한 최적 포식 모델 연구진은 행동생태학의 최적 포식 이론(optimal foraging theory)에 기반한 수학적 모델을 구축했다. 이는 유기체가 경쟁하는 기회들에 걸쳐 노력을 어떻게 배분하는지 설명하는 프레임워크다. 과학에 적용된 이 모델은 연구자들이 프로젝트에 노동을 어떻게 분배하는지, 그리고 LLM이 프로젝트 수명 주기의 여러 단계를 단축할 때 무슨 일이 일어나는지 시뮬레이션한다.
모델에서 연구 프로젝트는 두 단계로 진행된다. 연구자는 먼저 아이디어가 실현 가능한지 확인한 후, 포기할지 계속 진행할지 결정한다. 진행하기로 하면 그림 제작, 텍스트 서식, 제출 같은 필수 부분과 추가 실험, 더 깊은 분석, 원고 다듬기 같은 자발적 부분이 포함된다. 연구진은 시간이 부족해지면 이 자발적 부분이 희생된다고 주장한다.
세 가지 시나리오 중 두 가지는 연구 악화로 이어져 논문은 연구 과정에서 AI가 적용되는 위치에 따라 세 가지 시나리오를 제시한다.
첫 번째 시나리오에서 AI는 초기 아이디어 평가를 돕는다. 다시 시작하는 비용이 저렴해지므로 연구자들이 더 까다로워지고, 가장 유망한 프로젝트만 진행된다. 그러나 절약된 시간은 새로운 것을 시작하는 데 쓰는 것이 더 낫기 때문에 그 프로젝트조차 덜 철저하게 다뤄진다. 저자들은 이 패턴이 기술 분야에 전형적이라고 말한다.
두 번째 시나리오에서 AI는 작성, 서식, 분석을 가속화하며 출판을 돕는다. 논문을 내는 데 필요한 노력이 줄어들어 약한 프로젝트도 추진할 가치가 생긴다. 더 많은 논문이 유통되지만 각 논문은 더 얕아진다. 이 패턴은 현장 조사 기반 학문 분야에 전형적이다.
세 번째 시나리오에서만 AI가 실제로 품질을 개선한다. 여기서 AI는 추가 실험이나 더 신중한 분석 같은 자발적 심층 작업 단계를 가속한다. AI가 연구자들이 시간 압박 때문에 항상 대충 넘겼던 바로 그 단계를 겨냥하기 때문에, 시간 절약이 더 철저한 작업으로 이어진다.
따라서 세 가지 사례 중 두 가지에서 철저함이 떨어진다. 시간이 더 가치 있어지면 이미 출판 가능한 논문을 다듬는 것은 더 이상 의미가 없다. 그 시간은 다음 프로젝트에 쓰는 것이 더 낫다.
절약된 시간의 오류 저자들은 이렇게 썼다. "노동 증진 기술로서 LLM은 우리 시간의 기회비용을 높여, 같은 양을 더 잘하는 것이 아니라 더 많이, 더 못하게 하도록 우리를 내몬다."
절약된 시간이 자동으로 더 깊은 분석으로 흘러간다는 생각은 성립하지 않는다. 모델이 이론적으로 묘사하는 것은 이미 실제로 나타나고 있다. 8건의 과학 사례 연구를 다룬 OpenAI의 현장 보고서에 따르면 연구 소프트웨어를 다시 작성할 때 최대 60배의 속도 향상이 있었지만, 병목은 코딩에서 다른 곳으로 이동했을 뿐이었다.