Hacker News • 16일 전

AI 연구의 한 단계 예측 함정

IMP

8/10

핵심 요약

강화학습의 거장 리치 서튼(Rich Sutton)은 단기 예측 모델만 학습해 장기 예측을 반복적으로 생성하려는 접근 방식의 한계를 지적합니다. 단기 예측의 오차가 누적되고 계산 복잡도가 기하급수적으로 증가하기 때문입니다. 이를 극복하기 위해 옵션(Options)이나 GVF 등을 활용한 시간적 추상화(Temporal abstraction) 기반 모델 구축을 제안합니다.

번역된 본문

단계적 함정 (The One-Step Trap, AI 연구에서) 저자: Rich Sutton / 2024년 7월 18일 X(트위터) 게시글 정리

'단계적 함정'이란 AI 에이전트가 학습한 예측의 전부 또는 대부분이 단일 단계(one-step) 예측이고, 더 긴 장기적 예측은 필요할 때 이 단일 단계 예측들을 반복(Iteration)하여 생성할 수 있다고 착각하는 흔한 실수를 말합니다. 이 함정이 가장 빈번하게 발생하는 부분은 단일 단계 예측들이 세상과 그 시간에 따른 변화를 묘사하는 '세계 모델(World model)'을 구성할 때입니다. 단일 단계 상태 전이 모델(One-step transition model)만 학습한 다음, 이를 연속적으로 전개(Roll-out)하여 특정 행동이 가져올 모든 장기적 결과를 예측할 수 있다고 생각하는 것은 매우 매력적인 접근입니다. 이러한 단일 단계 모델은 종종 물리학이나 현실적인 시뮬레이터에 비유되곤 합니다.

이러한 실수에 빠지는 이유는 이 접근법에 일말의 진실이 포함되어 있기 때문입니다. 즉, 모든 단일 단계 예측을 완벽한 정확도로 수행할 수 있다면, 이를 활용해 모든 장기적 예측 역시 완벽한 정확도로 수행할 수 있다는 것입니다. 하지만 단일 단계 예측이 완벽하게 정확하지 않다면 장담할 수 있는 것은 아무것도 없습니다. 실제로 단일 단계 예측을 반복하는 방식은 대개 좋지 않은 결과를 낳습니다. 단일 단계에서 발생하는 작은 오차들이 누적되어 장기 예측에서는 거대한 오차로 증폭되기 때문입니다.

또한, 단일 단계 예측들로부터 장기적 예측을 계산하는 과정은 계산 복잡도 측면에서 엄청난 부담을 줍니다. 불확실성이 존재하는 확률적 세계(Stochastic world)나 확률적 정책(Stochastic policy)의 경우, 미래는 단일한 궤적(경로)이 아니라 가능성의 '나무(Tree)' 형태를 띱니다. 이 나무의 각 가지들을 상상하고 그 발생 확률에 따라 가중치를 부여해야만 합니다. 결과적으로 단일 단계 예측으로 장기적 예측을 도출하는 계산 복잡도는 예측 시간의 길이에 따라 기하급수적으로 증가하므로, 실제 적용은 일반적으로 불가능합니다.

결론은 이러한 단일 단계 세계 모델은 절망적일 정도로 비효율적이지만, 동시에 너무나 매력적이어서 POMDP(부분 관측 마르코프 결정 과정), 베이지안 분석, 제어 이론, 그리고 AI의 압축 이론 등에서 광범위하게 사용되고 있다는 것입니다. 저의 해결책은 다음 참고문헌들처럼 '옵션(Options)'과 'GVF(General Value Functions)' 등을 활용하여 세상에 대한 시간적으로 추상화된 모델(Temporal abstract models)을 구축하는 것입니다.

Sutton, R.S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning. Artificial Intelligence 112:181-211.
Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction. In Proceedings of the Tenth International Conference on Autonomous Agents and Multiagent Systems, Taipei, Taiwan.
Sutton, R. S., Machado, M. C., Holland, G. Z., Timbers, D. S. F., Tanner, B., & White, A. (2023). Reward-respecting subtasks for model-based reinforcement learning. Artificial Intelligence 324.

원문 보기

원문 보기 (영어)

The One-Step Trap (in AI Research) Rich Sutton Written up for X on July 18, 2024 The one-step trap is the common mistake of thinking that all or most of an AI agent�s learned predictions can be one-step ones, with all longer-term predictions generated as needed by iterating the one-step predictions. The most important place where the trap arises is when the one-step predictions constitute a model of the world and of how it evolves over time. It is appealing to think that one can learn just a one-step transition model and then �roll it out� to predict all the longer-term consequences of a way of behaving. The one-step model is thought of as being analogous to physics, or to a realistic simulator. The appeal of this mistake is that it contains a grain of truth: if all one-step predictions can be made with perfect accuracy, then they can be used to make all longer-term prediction with perfect accuracy. However, if the one-step predictions are not perfectly accurate, then all bets are off. In practice, iterating one-step predictions usually produces poor results. The one-step errors compound and accumulate into large errors in the long-term predictions. In addition, computing long-term predictions from one-step ones is prohibitively computationally complex. In a stochastic world, or for a stochastic policy, the future is not a single trajectory, but a tree of possibilities, each of which must be imagined and weighted by its probability. As a result, the computational complexity of computing a long-term prediction from one-step predictions is exponential in the length of the prediction, and thus generally infeasible. The bottom line is that one-step models of the world are hopeless, yet extremely appealing, and are widely used in POMDPs, Bayesian analyses, control theory, and in compression theories of AI. The solution, in my opinion, is to form temporally abstract models of the world using options and GVFs, as in the following references. Sutton, R.S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning. Artificial Intelligence 112:181-211. Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction. In Proceedings of the Tenth International Conference on Autonomous Agents and Multiagent Systems, Taipei, Taiwan. Sutton, R. S., Machado, M. C., Holland, G. Z., Timbers, D. S. F., Tanner, B., & White, A. (2023). Reward-respecting subtasks for model-based reinforcement learning. Artificial Intelligence 324.

강화학습 세계 모델 시간적 추상화 인공지능 이론