순수 C 언어로 구현한 microGPT, 애플 M5에서 초당 1,000만 토큰 달성
외부 의존성 없이 libc만으로 단일 C 파일에 GPT의 순전파, 역전파, Adam 옵티마이저, 샘플링을 모두 구현한 'microGPT-C'가 공개되었습니다. 약 3.2만 개의 이름 데이터를 몇 초 만에 학습해 새로운 이름을 생성하며, 애플 M5 Pro(NEON)에서 초당 약 1,017만 토큰, AMD 라이젠 5 5600H(AVX2)에서 초당 약 693만 토큰의 추론 속도를 기록했습니다. 학습이 아닌 일반화를 통해 파라미터 5배짜리 트라이그램 모델을 능가한다는 점이 인상적입니다.