HN
Hacker News • 30일 전
IMP 7
순수 C/CUDA로 제로부터 구축한 GPT-2 규모 모델, NanoEuler
PyTorch나 자동 미분(autograd), 머신러닝 라이브러리 없이 순수 C/CUDA만으로 GPT-2 급의 언어 모델을 제로부터 구축한 프로젝트가 공개되었습니다. 순방향/역방향 패스부터 바이트 수준 BPE 토크나이저, CUDA 엔진, FlashAttention까지 전체 학습 파이프라인을 직접 손으로 작성 및 검증한 것이 특징입니다. 실사용 챗봇보다는 대형 언어 모델의 동작 원리와 엔지니어링 과정을 투명하게 이해하기 위한 교육 및 연구용으로 큰 의미가 있습니다.
C/CUDA GPT-2 제로부터구현