Resources
List
Data Engineering Tools 2026: The Modern Stack Every DE Uses
— docs/Data Engineering Tools 2026_ The Modern Stack Every DE Uses.pdf
저자는 데이터 엔지니어링 도구를 '조직의 배관(plumbing)'에 비유하며, 데이터 생애주기(라이프사이클) 단계별로 실제 현업에서 쓰이는 2026년 기준 툴 스택을 소개한다. SQL·Python이라는 두 언어를 기초로, 저장(레이크/웨어하우스/레이크하우스), 수집(배치/스트리밍), 처리·변환, 오케스트레이션까지 다섯 영역으로 나눠 대표 툴을 설명하고, 초보자가 SQL/Python 기초 → 클라우드 웨어하우스 → dbt 변환 → Airflow 오케스트레이션 순으로 학습할 것을 권장한다.
데이터 엔지니어링에서 가장 핵심적인 스킬로 소개된다. 선언형(declarative) 언어로, 원하는 데이터가 무엇인지 명시하면 시스템이 조회 방법을 알아서 찾는다. Snowflake·BigQuery 같은 클라우드 데이터 웨어하우스의 기본 인터페이스이며, 테이블 조인·불량 데이터 필터링·집계(예: 월간 매출 합산) 같은 변환 작업, 그리고 복잡한 쿼리를 읽기 쉽게 만드는 CTE(Common Table Expression) 작성에 쓰인다.
SQL이 이미 데이터베이스 안에 있는 데이터를 다룬다면, Python은 여러 데이터 엔지니어링 툴을 서로 이어붙이는 '접착제' 역할을 한다. 소셜미디어 API나 레거시 엑셀 파일 같은 소스 시스템에서 데이터를 뽑아내는 '데이터 수집(ingestion)'에 특히 강하다. Pandas(소규모 데이터 가공), SQLAlchemy(DB 연결) 같은 방대한 라이브러리 생태계를 갖추고 있어, 표준 SQL로 처리하기 어려운 자동화 스크립트와 커스텀 데이터 로직 작성에 주로 쓰인다.
JSON, CSV, Parquet 등 원본 형식 그대로 raw 데이터를 저장하는 스토리지 유형. '빅데이터'와 향후 분석을 위한 원시 로그 저장에 적합하다.
분석 준비가 끝난 구조화·정제 데이터를 저장하는 스토리지 유형. 비즈니스 리포팅과 대시보드 구동에 적합하다. Snowflake 같은 웨어하우스는 '컬럼형 저장(columnar storage)' 방식을 쓰는데, 행 단위로 저장하는 전통적 DB와 달리 열 단위로 저장해 요청된 특정 컬럼만 읽을 수 있게 하므로, 수십억 건 레코드를 다룰 때 쿼리 속도가 수천 배 빨라진다고 설명한다.
레이크의 저렴한 스토리지와 웨어하우스의 처리 속도를 결합한 스토리지 유형. 고급 머신러닝과 실시간 분석에 적합하다고 소개된다.
'노코드/로우코드' 데이터 수집 툴. Salesforce나 Shopify 같은 소스에서 데이터를 끌어오는 복잡한 Python 스크립트를 직접 짜는 대신, 자격증명만 입력하면 자동으로 웨어하우스에 데이터를 동기화해준다. 데이터 엔지니어가 반복적인 추출 코드 작성 대신 더 복잡한 작업에 집중할 수 있게 해준다.
'스트리밍' 데이터 수집 툴의 표준으로 소개된다. 신용카드 부정거래 탐지처럼 이벤트 발생 즉시(밀리초 단위) 처리해야 하는 시스템에서, 초당 수백만 건의 이벤트를 다운되지 않고 처리할 수 있는 고속 버퍼 역할을 한다.
단일 컴퓨터의 RAM에 담기지 않을 정도로 큰 데이터셋을 다룰 때 필요한 분산 컴퓨팅 처리 툴. 거대한 작업을 100개의 작은 조각으로 쪼개 100대의 다른 컴퓨터에 동시에 분배해 처리한다. DataFrame이라는 추상화를 사용하며, PySpark에서는 한 줄의 코드로 수십억 행을 필터링하면, Spark의 '최적화 엔진'이 클러스터 전체에 작업을 분배하는 가장 효율적인 방법을 자동으로 결정한다.
현대 'ELT(Extract, Load, Transform)' 워크플로에서 가장 핵심적인 툴 중 하나로 소개된다. SQL의 SELECT 문으로 데이터 모델을 정의하면, 웨어하우스 안에 테이블을 생성하고 올바른 순서로 갱신되도록 보일러플레이트 코드를 처리해준다(예: '월간 리포트' 테이블은 'Raw Sales' 테이블 적재가 끝나기 전까지 갱신 시도를 하지 않도록 보장). 소프트웨어 엔지니어링의 버전 관리·테스트 기능을 SQL 작업에 접목한 것이 특징이다.
오케스트레이션 툴의 업계 표준으로 소개된다. 파이프라인을 DAG(Directed Acyclic Graph, 방향성 비순환 그래프)로 표현하는데, 이는 사실상 Python 코드로 작성된 플로우차트이며 태스크 간 의존관계를 정의한다(예: '태스크 A가 성공해야만 태스크 B 시작'). 소스 웹사이트 다운 등으로 태스크 A가 실패하면 설정에 따라 자동 재시도하고 알림을 보내, 데이터 파이프라인에서 조용한 실패(silent failure)를 방지한다.