HN
Hacker News • 6일 전
IMP 7
비트토렌트 방식으로 집에서 대형 언어 모델 돌리기
가정용 GPU나 구글 코랩 환경에서 비트토렌트(BigScience Petals) 방식으로 초대형 언어 모델을 구동할 수 있는 오픈소스 프로젝트입니다. 사용자들이 모델의 일부분씩을 분산하여 연산함으로써, 초고사양 하드웨어 없이도 Llama 3.1이나 Mixtral 등 거대 모델을 실행하고 파인튜닝할 수 있다는 점이 가장 큰 의의입니다.
오픈소스 대형언어모델 분산컴퓨팅