HN
Hacker News • 4일 전
IMP 5
gzip이 언어 모델이 될 수 있을까?
신경망 없이 운영체제에 기본 탑재된 gzip 압축기만으로 셰익스피어 텍스트를 생성하는 실험을 다룬 글입니다. 압축과 예측의 동등성이라는 정보이론적 원리를 이용해, 코퍼스를 윈도우에 넣고 빔 서치로 압축이 가장 잘 되는(=모델이 예상하는) 후보 텍스트를 선택합니다. 신경망 없는 언어 모델링의 가능성을 보여주는 흥미로운 연구 사례입니다.
압축 언어모델 정보이론