HN
Hacker News • 5일 전
IMP 6
미니 AGI – 8GB VRAM으로 학습하는 지속학습 언어모델
해커뉴스에 'mini-AGI'라는 프로젝트가 공개됐다. 8GB VRAM 소비자용 GPU 한 장으로 처음부터 학습 가능하며, 읽는 모든 것에서 계속 학습하는 바이트 단위 언어모델이다. 가중치를 디스크에 저장하고 필요할 때만 VRAM으로 불러오는 방식으로 파라미터 수를 디스크 용량만큼 확장할 수 있고, 치명적 망각 없는 단일 데이터 스트림 지속학습이 보통 하드웨어에서도 가능함을 보여준다는 점이 핵심이다.
지속학습 언어모델 오픈소스