모델 굽기: LLM 학습에 대한 비유
익스트림 프로그래밍의 창시자로 유명한 Kent Beck이 LLM 학습 과정을 제빵에 비유해 설명하는 글입니다. 프리트레이닝(pre-training)은 냉장 발효처럼 큰 배치로 한 번에 진행되는 대규모 투자이며, 포스트트레이닝(post-training)은 작은 배치로 반복하는 과정에 비유됩니다. 모델이 '숫자의 집합'이며 프로그래밍과는 전혀 다른 방식으로 만들어진다는 점을 소개합니다.
모델 굽기 Kent Beck, 2026년 8월 14일
고등학교에서 버스로 걸어가던 길에 Motorola 6800 명령어 집합 매뉴얼을 들여다보던 기억이 난다. 내가 보고 있는 것이 무엇인지 정말로 이해하지는 못했다—불린 표현식, 명령어 인코딩, 타이밍 테이블—하지만 그 메커니즘 전체에 사로잡힐 만큼 매혹되어 있었다. 여기 이해하기만 하면 힘과 통제력을 얻을 수 있는 복잡한 기계가 있었다. 지금 나는 AI 모델에 대해 똑같은 감정을 느낀다. 아직 세부 사항을 이해한다고 주장하지는 않지만, 그 메커니즘 전체에 매혹되어 있다.
나는 두 가지 모두에 관심이 있다:
- 모델이 어떻게 작동하는가
- 모델을 만들어내는 기계 장치(머신리)
이 중 후자, 즉 모델이 어떻게 구축되는가라는 주제를 이 글(및 가능한 후속 글들)에서 탐구하기 시작하려 한다.
제빵
나는 제빵을 사랑한다. 한 형태의 재료를 가져와서 완전히 다른 형태로 변환한다. 재료 자체는 먹기 좋지 않지만, 그것으로 만들어내는 것은 맛있다. 그리고 제빵은 초기 조건에 민감하다—과정 초반에 작은 변경을 가하면 나중에 큰 결과를 낳는다.
나는 최근 냉장 발효(cold proofing)를 실험하고 있다. 효모가 냉장고에서 밤새 제 역할을 하도록 두는 것이다. 모델을 이해하려고 노력하면서, 모델 생성에도 유추가 가능하다는 생각이 들었다. 적어도 지금까지 내가 이해한 과정으로는 (내가 틀린 부분이 있다면 댓글로 지적해 주기 바란다).
우선, '모델'이 무엇을 의미하는지에 대해 점진적으로 드러나는 이야기를 해보겠다. 내가 지나치게 단순화하겠지만, 조금씩 더 복잡한 내용을 드러낼 테니 조금만 기다려 달라. 이건 오래 걸리지 않을 것이다.
zoom out
'모델'이란 인간과 대화할 수 있는 컴퓨터 시스템을 의미한다 (봤지, 지나치게 단순화한다고 했을 테니—그래도 함께해 주기 바란다. 오래 걸리지 않을 것이다).
실제로는 조금 더 복잡하다. 모델은 두 부분으로 나뉜다:
- 입력과 출력의 포맷팅, 시퀀싱, 인증 등 모든 것을 처리하는 사용자 인터페이스
- 마법이 일어나는 모델 고유 부분
사용자 인터페이스는 전통적인 프로그래밍 기법으로 구축된다 (비록 지난 2년 사이에 '전통'이 급격히 바뀌었지만). 반면 모델 고유 부분(우리의 탐구 주제)은 완전히 다른 기법으로 구축된다.
모델
모델은 숫자의 집합(bag of numbers)이다. 오늘날의 목적으로는 이 정도면 충분하다 (언젠가 모델이 유용한 단어를 생성할 때 그 숫자들이 어떻게 사용되는지 다룰 수도 있겠지만, 그러려면 내가 먼저 조금은 이해해야 할 것이다).
이 숫자들은 어떻게 얻어낸 것일까? 명령문들의 나열을 배치해서 그 결과가 프로그램이 되는 프로그래밍과 달리, AI 모델은 훈련(training)의 결과물이다. 훈련은 프로그래밍과 어느 정도 유사하다—산출물을 변경해서 미래의 동작을 수정한다는 점에서—하지만 엄청난 차이점도 있다.
프리트레이닝과 포스트트레이닝
한 번에 마법처럼 정확한 숫자들을 맞춰낼 수는 없다. 절대 그렇지 않다. 먼저 대략적으로 올바른 숫자들을 얻은 다음, 그것을 조정해서 더 나은 숫자로 만든다. 이 두 과정은 완전히 다르다.
(내가 파악하기로는 프리트레이닝(pre-training), 포스트트레이닝(post-training), 그리고 미드트레이닝(mid-training, 이것에 대해서는 아는 바가 전혀 없다)이 있지만, '트레이닝'이라는 것 자체는 프리-, 미드-, 포스트-의 조합으로만 존재한다. 이 용어 체계가 발전해 주기를 바랄 뿐이다.)
프리트레이닝은 큰 배치(batch)다. 팀 전체가 초기 조건—데이터와 빈 모델—을 설정한다. 데이터를 모델에 무수히 많이 앞뒤로 통과시킨다. 크래시에 대비해 중간중간 스냅샷을 찍는다. 프리트레이닝이 엉뚱한 방향으로 흘러가 조정 후 재시작이 필요한지 판단할 징후들을 확인한다.
프리트레이닝은 큰 베팅이다—수억 달러와 (더 비싼) 수개월의 지연이 걸려 있다. (프리트레이닝 팀 사람들이 어떻게 협업하는지 더 배워야 한다.)
프리트레이닝은 모델 훈련의 냉장 발효다. 재료들을 섞는다. 손을 댈 수 없는 곳에 넣어둔다. 그냥 과정이 진행되도록 내버려둬야 한다. 그 결과물은 그 자체로는 사용할 수 없지만, 이어지는 과정의 전조가 된다.
포스트트레이닝은 수많은 작은 배치들이다. 사람들이 ('연구자들'이라고 불리는…)