데이터 품질 관리와 ETL vs ELT 아키텍처 선택
Data Engineering Best Practices 2026 (From Production Pipelines) — 블로그 (2026) "Understanding Data Quality" ~ "ETL Versus ELT" 절 (pp.1-3)
이 모듈을 다 읽으면
- 데이터 품질을 구성하는 다섯 가지 차원(정확성/완전성/일관성/유효성/고유성)을 설명할 수 있다
- ETL과 ELT 중 무엇을 선택할지 판단하는 기준을 설명할 수 있다
파이프라인이 매일 실행되더라도, 그 파이프라인이 옮기는 데이터의 품질이 나쁘면 결과는 신뢰할 수 없다. 이 모듈은 데이터 품질을 어떤 축으로 나눠 측정하는지, 그리고 ETL과 ELT 중 어떤 아키텍처를 택할지에 대한 실무 기준을 정리한다. Airflow 자체의 오퍼레이터·센서 사용법이 아니라, Airflow 위에서 무엇을 검증하고 어떤 순서로 변환할지에 대한 상위 설계 판단에 집중한다.
데이터 품질의 다섯 가지 차원
데이터 품질은 막연히 '깨끗한 데이터'라고 뭉뚱그리기보다, 다섯 가지 구체적인 차원으로 쪼개 측정하는 것이 실무적이다. 정확성(accuracy)은 데이터가 실제 값을 반영하는지, 완전성(completeness)은 필요한 데이터 포인트가 모두 존재하는지, 일관성(consistency)은 여러 소스에 걸쳐 데이터가 균일한지, 유효성(validity)은 데이터가 정해진 형식을 따르는지, 고유성(uniqueness)은 중복 레코드가 없는지를 각각 가리킨다.
이 다섯 차원을 실제로 추적하려면 구체적인 지표가 필요하다 — 오류 대비 데이터 비율, 변환 과정에서 발생하는 오류 건수, 필드별 빈 값 개수, 중복 레코드 비율, 파이프라인 장애 발생률 등을 정기적으로 측정한다. 검증 방식으로는 규칙 기반 검증(이메일에 `@`가 포함되는지, 전화번호 자릿수가 맞는지, 날짜가 유효한 달력 형식인지 같은 명시적 규칙)과, Great Expectations 같은 도구를 이용한 자동화된 대규모 검증, 그리고 데이터 프로파일링(구조와 관계를 분석해 이상치를 탐지)이 있다.
핵심 포인트
- 데이터 품질은 정확성·완전성·일관성·유효성·고유성 다섯 차원으로 나눠 측정하는 것이 실무적이다
- 규칙 기반 검증(형식 규칙), 자동화 도구(예: Great Expectations), 데이터 프로파일링(구조/관계 분석을 통한 이상치 탐지)이 대표적인 검증 방식이다
ETL과 ELT, 무엇을 언제 선택하나
ETL(Extract-Transform-Load)은 데이터를 추출한 뒤 별도의 스테이징 환경에서 변환을 마치고 나서야 웨어하우스에 적재한다. 품질은 보장되지만, 대용량 데이터에는 상당한 처리 능력이 필요하다. ELT(Extract-Load-Transform)는 데이터를 추출 즉시 클라우드 웨어하우스에 적재하고, 변환은 웨어하우스 내부에서 수행한다. Snowflake·BigQuery·Redshift 같은 현대적 클라우드 웨어하우스는 변환을 효율적으로 처리하면서도 원본 데이터를 그대로 보존해, 나중에 다른 규칙으로 재처리할 수 있게 해준다.
대규모 시스템에서는 점점 ELT가 선호되는 추세다 — 클라우드 웨어하우스가 변환을 효율적으로 처리하고 원본을 보존하기 때문이다. 다만 엄격한 품질 요구사항을 가진 작고 구조화된 데이터셋이라면 ETL 방식이 여전히 정당화될 수 있다.
핵심 포인트
- ETL은 스테이징 환경에서 변환을 마친 뒤 적재하므로 품질은 보장되지만 대용량 처리에 비용이 크고, ELT는 즉시 적재 후 웨어하우스 내부에서 변환해 원본을 보존하면서 재처리 유연성을 얻는다
- 대규모 시스템은 점점 ELT를 선호하는 추세지만, 엄격한 품질 요구사항을 가진 작고 구조화된 데이터셋에는 ETL이 여전히 유효한 선택이다