디즈니가 디즈니+와 훌루 스트리밍 요금을 최대 13% 인상했습니다. 광고 없는 단일 플랜은 월 19달러에서 21.50달러로 올라 넷플릭스 무광고 기본 요금(월 20달러)보다 비싸졌습니다. 이는 4년 연속 인상으로, 디즈니의 스트리밍 수익성 확대 전략과 이탈률이 낮은 번들 구독 유도 의도로 분석됩니다.
스트리밍 분석의 고전 논문 'The Dataflow Model'의 저자들이 VLDB 시간의 검증상 수상을 계기로 자신들의 논문을 스스로 평가했다. 이벤트 시간 우선 원칙과 강한 일관성 같은 핵심 기반은 유효했지만, 트리거는 과잉 설계였고 스트림 중심 세계관은 스트림과 테이블이 동일한 객체의 두 표현이라는 더 깊은 진실을 놓쳤다고 반성한다. 결국 논문의 목표를 실현한 메커니즘은 SQL, 증분 뷰 유지보수, 명시적 신선도 계약을 갖춘 구체화 뷰 등 데이터베이스의 유산에서 나왔다는 것이 핵심 결론이다.
초기 스트리밍 서비스는 모든 콘텐츠를 한곳에서 저렴하게 즐길 수 있다는 장점으로 시장을 장악했지만, 현재는 주요 영화사들이 독자 플랫폼을 만들며 콘텐츠 파편화 현상이 심화되었습니다. 이로 인해 시청자는 원하는 작품을 찾기 어려워졌을 뿐만 아니라, 지속적인 구독료 인상과 광고형 요금제 도입으로 인해 과거와 같은 경제성과 편리성을 잃어버리게 되었습니다.
본 튜토리얼은 수 테라바이트(TB) 규모의 방대한 FineWeb 데이터셋을 전체 다운로드하지 않고도 스트리밍(Streaming) 방식으로 불러와 분석하는 실무적인 코딩 방법을 다룹니다. 데이터의 스키마와 메타데이터를 점검하고, 품질 필터링(Filtering) 및 중복 제거(Deduplication), 토큰화(Tokenization) 파이프라인 구축 과정을 단계별 코드로 구현해 봅니다. AI 모델 개발에 필수적인 대규모 학습 데이터 전처리 및 분석 기법을 심도 있게 이해할 수 있는 중요한 자료입니다.
이번 튜토리얼에서는 대규모 코드 사전학습 연구를 위해 NVIDIA의 'Nemotron-Pretraining-Code-v3' 데이터셋 메타데이터를 활용하는 파이프라인을 구축합니다. 데이터를 직접 다운로드하지 않고 스트리밍(Streaming) 방식으로 불러와 언어별 분포와 저장소 구조를 분석하며, 실제 깃허브 소스 코드를 가져와 토큰(Token) 규모를 추정하는 전체 과정을 다룹니다.