Late Data 처리 직접 관찰하기
실습 순서
- watermark 지연 허용치를 아주 짧게(예: 2초) 바꿔 스크립트를 재실행한다.
- 프로듀서에서 일부러 event_time을 30초 전 값으로 만든 '늦은' 이벤트를 하나 보낸다.
- 콘솔 출력에 이 늦은 이벤트가 반영됐는지, 아니면 무시됐는지 관찰한다.
- 이번엔 허용치를 30초 이상(예: 60초)으로 늘려 같은 실험을 반복하고, 결과가 어떻게 달라지는지 비교한다.
기대 결과
지연 허용치가 짧을 때는 30초 늦은 이벤트가 집계에 반영되지 않고(이미 지난 윈도우가 닫힌 뒤라 무시됨), 허용치를 늘리면 같은 이벤트가 정상적으로 집계에 포함되는 차이를 직접 확인할 수 있다.