#아파치 빔

데이터플로우 모델, 11년 만의 재조명

스트리밍 분석의 고전 논문 'The Dataflow Model'의 저자들이 VLDB 시간의 검증상 수상을 계기로 자신들의 논문을 스스로 평가했다. 이벤트 시간 우선 원칙과 강한 일관성 같은 핵심 기반은 유효했지만, 트리거는 과잉 설계였고 스트림 중심 세계관은 스트림과 테이블이 동일한 객체의 두 표현이라는 더 깊은 진실을 놓쳤다고 반성한다. 결국 논문의 목표를 실현한 메커니즘은 SQL, 증분 뷰 유지보수, 명시적 신선도 계약을 갖춘 구체화 뷰 등 데이터베이스의 유산에서 나왔다는 것이 핵심 결론이다.