#스케일링 법칙

AI의 기하급수적 성장과 정책의 과제

AI 기술의 상상을 초월하는 발전 속도에 비해 정치적 입법 기구의 대응이 너무 느리다는 문제의식을 제기한 글입니다. 최근 최첨단 AI 모델이 사이버 보안과 국가 안보에 실질적인 위협을 가할 수 있다는 사실이 명확해짐에 따라, 이제는 전 세계적인 차원에서 AI의 리스크와 기회에 신속하게 대응할 수 있는 정책적 장치를 가동해야 한다고 촉구합니다.

대형 언어 모델이 소형 모델이 놓치는 능력을 습득하는 이유

Anthropic과 Stanford 등의 연구진에 따르면, 소형 모델은 학습 과정에서 흔하게 등장하는 작업에 편향되어 드문 작업을 학습하자마자 잊어버리는 현상을 겪습니다. 반면 대형 모델은 넉넉한 용량을 바탕으로 흔한 작업을 먼저 마스터한 뒤, 드문 작업의 패턴을 안정적으로 암기하고 법칙을 깨달아(grokking) 새로운 상황에 일반화할 수 있습니다. 이는 모델의 크기를 무작정 키우는 대신, 특정 기능을 원하는 수준으로 학습시키기 위해 훈련 데이터 내에서 해당 작업의 등장 빈도를 높이는 것이 더 효율적인 대안이 될 수 있음을 시사합니다.