SQL

쿼리 기반 CDC vs 로그 기반 CDC

CDC(Change Data Capture)는 소스 데이터베이스에서 일어나는 행 단위 변경(삽입, 수정, 삭제)을 추출하는 기법이다. 쿼리 기반 CDC는 타임스탬프나 버전 컬럼을 기준으로 주기적으로 폴링하는 방식으로 구현이 간단하지만, 삭제된 행을 놓치고, 소스 시스템에 추가 부하를 주며, 지연시간이 폴링 주기에 비례해서 늘어난다는 한계가 있다. 로그 기반 CDC는 데이터베이스의 트랜잭션 로그(MySQL binlog, Postgres WAL)를 직접 읽는 방식으로, 삭제를 포함한 모든 변경을 포착하고 소스에 거의 부하를 주지 않으며 초 단위 미만의 지연시간을 낸다. 소스 데이터베이스가 지원하고 삭제 감지나 낮은 지연시간이 필요하다면 로그 기반 CDC를 선택해야 한다.

로그 기반 CDC의 실패 모드는 스키마 진화다 — 소스에 컬럼이 추가되면 스키마 레지스트리 연동과 하위 호환 가능한 Avro/Protobuf 스키마가 없는 한 다운스트림 파이프라인이 깨진다. 실전 CDC 파이프라인에서는 Debezium이 소스의 트랜잭션 로그를 읽어 Kafka 토픽에 변경 이벤트를 발행하고(토픽당 소스 테이블 1개, 행의 기본 키를 Kafka 메시지 키로 사용해 행별 순서를 보장), Flink나 Spark Structured Streaming 잡이 이 토픽을 소비해 MERGE 문으로 웨어하우스에 업서트를 적용한다(Snowflake는 Snowpipe Streaming API, Databricks는 Delta Lake의 MERGE INTO). 모니터링은 복제 지연(Debezium 커넥터 메트릭), 컨슈머 랙(Kafka 컨슈머 그룹 오프셋 차이), 행 수 정합성(매시간 소스/목적지 COUNT 비교) 세 가지를 추적해야 한다.

CDC가 여는 것 — 폴링 없는 근실시간과 시간여행

CDC는 소스 데이터베이스의 삽입·수정·삭제를 실시간으로 추적해 웨어하우스가 전체 재적재 없이도 동기화 상태를 유지하게 한다. Debezium(오픈소스), AWS DMS, Fivetran, Snowflake Streams 같은 도구가 대표적이며, CDC는 폴링 없이 근실시간 파이프라인을 가능하게 하고 감사(audit)와 시간여행(time-travel) 분석을 위한 소스 이력을 보존한다는 점에서 Zero ETL식 지속 복제나 스트리밍 수집의 기반 기술로도 쓰인다.