#정보이론

gzip이 언어 모델이 될 수 있을까?

신경망 없이 운영체제에 기본 탑재된 gzip 압축기만으로 셰익스피어 텍스트를 생성하는 실험을 다룬 글입니다. 압축과 예측의 동등성이라는 정보이론적 원리를 이용해, 코퍼스를 윈도우에 넣고 빔 서치로 압축이 가장 잘 되는(=모델이 예상하는) 후보 텍스트를 선택합니다. 신경망 없는 언어 모델링의 가능성을 보여주는 흥미로운 연구 사례입니다.

데이터 압축의 모든 것: 원리부터 최적화까지

데이터 압축은 데이터 저장과 전송에 필요한 비트 수를 줄이는 기술로, 손실 없는 압축과 손실 압축으로 나뉩니다. 이 책은 정보 이론, 코딩, 모델링, 변환 기법 등 데이터 압축의 핵심 원리와 알고리즘을 심도 있게 다루고 있으며, 최적의 모델링이 인공지능(AI) 문제와도 깊이 연관되어 있음을 강조합니다. 데이터 압축 기술을 이해하고 구현하려는 개발자와 연구자들에게 필수적인 내용을 제공합니다.