#데이터압축

900KB 트랜스포머로 100MB CSV 파일 7MB로 압축하기

특정 파일의 패턴을 완벽하게 외우도록 오버피팅(Overfitting)된 900KB 크기의 트랜스포머 모델과 산술 부호화(Arithmetic coding)를 결합해 개별 파일을 압축하는 실험 결과가 공유되었습니다. 이 방식을 통해 반복적인 패턴이 많은 100MB 크기의 뉴욕 택시 CSV 데이터를 약 7MB 수준까지 극한으로 압축할 수 있었으며, AI를 활용한 새로운 데이터 압축 기법의 가능성을 보여줍니다.

데이터 압축의 모든 것: 원리부터 최적화까지

데이터 압축은 데이터 저장과 전송에 필요한 비트 수를 줄이는 기술로, 손실 없는 압축과 손실 압축으로 나뉩니다. 이 책은 정보 이론, 코딩, 모델링, 변환 기법 등 데이터 압축의 핵심 원리와 알고리즘을 심도 있게 다루고 있으며, 최적의 모델링이 인공지능(AI) 문제와도 깊이 연관되어 있음을 강조합니다. 데이터 압축 기술을 이해하고 구현하려는 개발자와 연구자들에게 필수적인 내용을 제공합니다.