HN
Hacker News • 48일 전
IMP 6
밑바닥부터 빚는 빅토리안 시대 LLM
한 개발자가 1900년대 이전의 고전 텍스트만으로 3억 4천만 매개변수 규모의 LLM을 밑바닥부터 직접 학습시킨 과정을 공유합니다. 이 프로젝트는 기존의 정렬(alignment) 과정을 거치지 않아 시대적으로 부정확하거나 오늘날 기준에 맞지 않는 독특한 반응을 생성하며, 클라우드 GPU 약 8만 원의 비용만으로 모델을 완성한 점이 흥미롭습니다. 자체 구축한 데이터 파이프라인과 훈련 코드를 통해 대형 언어 모델의 작동 원리를 깊이 이해할 수 있는 훌륭한 오픈소스 사례입니다.
LLM 오픈소스 미세조정