초기 스트리밍 서비스는 모든 콘텐츠를 한곳에서 저렴하게 즐길 수 있다는 장점으로 시장을 장악했지만, 현재는 주요 영화사들이 독자 플랫폼을 만들며 콘텐츠 파편화 현상이 심화되었습니다. 이로 인해 시청자는 원하는 작품을 찾기 어려워졌을 뿐만 아니라, 지속적인 구독료 인상과 광고형 요금제 도입으로 인해 과거와 같은 경제성과 편리성을 잃어버리게 되었습니다.
본 튜토리얼은 수 테라바이트(TB) 규모의 방대한 FineWeb 데이터셋을 전체 다운로드하지 않고도 스트리밍(Streaming) 방식으로 불러와 분석하는 실무적인 코딩 방법을 다룹니다. 데이터의 스키마와 메타데이터를 점검하고, 품질 필터링(Filtering) 및 중복 제거(Deduplication), 토큰화(Tokenization) 파이프라인 구축 과정을 단계별 코드로 구현해 봅니다. AI 모델 개발에 필수적인 대규모 학습 데이터 전처리 및 분석 기법을 심도 있게 이해할 수 있는 중요한 자료입니다.
이번 튜토리얼에서는 대규모 코드 사전학습 연구를 위해 NVIDIA의 'Nemotron-Pretraining-Code-v3' 데이터셋 메타데이터를 활용하는 파이프라인을 구축합니다. 데이터를 직접 다운로드하지 않고 스트리밍(Streaming) 방식으로 불러와 언어별 분포와 저장소 구조를 분석하며, 실제 깃허브 소스 코드를 가져와 토큰(Token) 규모를 추정하는 전체 과정을 다룹니다.