Data Engineering Roadmap 2026: From Zero to Job Ready

CS 학위나 12개짜리 강좌 목록 대신, 주 10시간 기준 6개월 동안 한 달에 하나의 스킬만 순서대로 밟아가는 학습 로드맵(SQL → Python → 웨어하우징/모델링 → Spark+Airflow → 클라우드+프로젝트 → 인터뷰 준비). 저자는 초심자가 실패하는 가장 큰 이유는 난이도가 아니라 '중간에 다른 도구로 갈아타는 것'이라 보고, 각 달마다 '배울 것'만큼 '지금은 건너뛸 것'을 강조한다. 곳곳에 저자 자신의 유료/무료 강좌(‘Data Engineer track’, PySpark/Airflow/AWS 강좌 등)로 연결되는 언급이 섞여 있어 추천 경로 자체에는 자기 홍보 성격이 있다는 점을 감안할 필요가 있지만, 각 달의 학습/스킵 항목과 완료 확인 기준 같은 실용 정보는 그대로 옮겼다.

1 1개월차: SQL은 면접의 필터다

배울 것: SELECT 기본기, 모든 종류의 JOIN, GROUP BY와 HAVING, CTE, 그리고 윈도우 함수(ROW_NUMBER, LAG, 누적합 등) — 주니어든 시니어든 저자가 본 모든 데이터 엔지니어링 면접은 지저분한 데이터의 조인, 올바른 그레인의 GROUP BY, 윈도우 함수를 테스트하므로 이 세 가지만이라도 깊게 익힐 것을 권한다. 매일 최소 30분이라도 쿼리를 직접 짜볼 것. 건너뛸 것: 쿼리 튜닝 내부 원리, 저장 프로시저, 벤더별 특수 문법 — 이런 지식은 실제 업무를 하면서 자연스럽게 붙는다. 무료 시작점: 기초는 SQLBolt로 시작한 뒤 실전 문제 세트로 연습하고, 저자의 SQL 강좌는 각 주제마다 면접에서 쓰이는 형식 그대로의 실행 가능한 연습 문제를 짝지어 제공한다. 완료 확인 기준: 힌트 없이 중난이도 윈도우 함수 문제를 풀 수 있고, 자신이 작성한 어떤 쿼리든 결과의 그레인(한 행이 무엇을 의미하는지)을 설명할 수 있어야 한다.

2 2개월차: 파이프라인을 위한 파이썬이지, 리트코드를 위한 파이썬이 아니다

배울 것: 함수, 에러 핸들링, CSV·JSON 파일 다루기, 재시도 로직을 포함한 API 호출, 정제·재구성을 위한 pandas, 그리고 남의 트레이스백을 침착하게 읽는 법 — 데이터 엔지니어링에서 쓰는 파이썬은 소프트웨어 엔지니어링용 파이썬과는 다른 종류로, 파일을 읽고 API를 호출하고 모든 걸 망가뜨리는 행 하나를 처리하고 pandas로 데이터를 다듬는 데 시간을 쓰지, 이진 트리를 뒤집는 데 쓰지 않는다. 건너뛸 것: 깊이 있는 OOP 설계, 데코레이터 중첩 같은 고급 기법, DSA(자료구조·알고리즘) 훈련 — 기본적인 리스트·딕셔너리 활용 능력만으로 대부분의 파이프라인 코드를 커버할 수 있다. 무료 시작점: 공식 파이썬 튜토리얼과 아무 공개 API나 조합하고, 저자의 'Python for Data Engineering' 강좌는 퍼즐형이 아니라 파이프라인 형태의 실습으로 구성되어 있다. 완료 확인 기준: 공개 API에서 데이터를 가져와 정제하고 날짜가 찍힌 CSV로 저장하며 잘못된 행이 와도 죽지 않는 스크립트를 만들어 3일 연속 실행해볼 것.

3 3개월차: 웨어하우징과 모델링 — 테이블 단위로 사고하는 법 배우기

배울 것: OLTP vs OLAP, 팩트·차원 테이블, 스타 스키마, 서서히 변하는 차원(SCD) — 그리고 웨어하우스 하나를 골라 실제로 만져볼 것(Snowflake 무료 체험판이면 이번 달에 필요한 모든 걸 다 할 수 있다). 이 달은 독학하는 엔지니어들이 가장 자주 건너뛰는 달이면서, 동시에 '쿼리만 쓸 줄 아는 사람'과 '남들이 쿼리할 테이블을 설계하는 사람'을 가르는 달이기도 하다 — 회사는 이 차이를 즉시 알아챈다. 건너뛸 것: 모든 정규형을 암기하는 것, Data Vault, 웨어하우스 비용 튜닝. 무료 시작점: 배달 앱을 가정해(주문·음식점·고객·시간) 종이에 스타 스키마를 직접 설계해보고, SCD Type 2 워크스루를 읽어 왜 차원 테이블이 이력을 보존하는지 이해할 것 — 저자의 Data Warehouse와 Data Modeling 강좌가 이 두 측면을 함께 다룬다. 완료 확인 기준: '헬스장 체인이 회원 분석을 원한다'는 비즈니스 상황이 주어지면 팩트 테이블과 세 개의 차원 테이블을 스케치하고 각각의 한 행이 무엇을 의미하는지 설명할 수 있어야 한다.

4 4개월차: Spark와 Airflow — 스케일링한 다음 스케줄링하기

배울 것: 데이터가 더 이상 pandas에 다 들어가지 않을 때 무엇을 해야 하는지, 그리고 이 파이프라인을 매일 아침 6시에 누가 돌릴 것인지에 답하는 달이다. Spark DataFrame, 지연 평가(lazy evaluation), 파티션이 속도와 느려짐을 어떻게 동시에 설명하는지, 그다음 Airflow DAG, 재시도, 백필을 배운다. 둘 다 노트북에서도 잘 돌아가므로 취업을 위해 클러스터가 필요한 건 아니다. 건너뛸 것: Spark 메모리 튜닝, 커스텀 익스큐터, 두 도구를 쿠버네티스에 배포하는 것. 무료 시작점: 저자의 PySpark 튜토리얼과 Airflow 튜토리얼은 실제로 노트북에서 파이프라인을 처음부터 끝까지 실행한 결과와 스크린샷을 그대로 보여주며, 전체 PySpark/Airflow 강좌는 더 깊게 들어간다. 완료 확인 기준: 여러 파일로 나뉜 데이터셋을 집계하는 Spark 작업을, 매일 실행되고 실패 시 재시도하는 Airflow DAG로 감싸서 완성할 것.

5 5개월차: 클라우드 하나, 그리고 이력서가 되어줄 프로젝트

지금까지는 전부 노트북에서 돌아갔다면, 5개월차는 그것을 클라우드로 옮기고 앞선 다섯 가지 스킬을 하나의 파이프라인으로 연결한다. 이 프로젝트는 어떤 자격증보다도 면접에서 더 큰 비중을 차지하는데, 실제로 만들고 고장 내본 것에 대한 후속 질문에 답할 수 있기 때문이다. 배울 것: 클라우드 하나 — 저자는 특별한 이유가 없다면 AWS를 고르라고 직접 권한다 — S3, IAM 기본기, 컴퓨트 옵션 하나(Lambda 또는 Glue), 그리고 웨어하우스를 여기에 연결하는 법. 건너뛸 것: 나머지 두 클라우드, 그리고 파이프라인에 직접 쓰이지 않는 모든 서비스 — AWS 콘솔에는 데이터 엔지니어가 실제로 쓰는 것보다 훨씬 많은 서비스가 나열되어 있지만, 이 프로젝트에는 대략 다섯 개면 충분하다. 무료 시작점: AWS 프리 티어만으로 이 프로젝트 전체를 커버할 수 있고, 저자의 'AWS for Data Engineering' 강좌는 각 서비스를 파이프라인 단계에 매핑해 보여주며, /projects/ 페이지에는 체크포인트가 있는 구조화된 엔드투엔드 빌드가 있다. 완료 확인 기준: 손대지 않아도 스케줄대로 실행되는 파이프라인과, 아키텍처 다이어그램 및 만들면서 무엇이 고장 났는지 솔직하게 세 문장으로 적은 README를 갖출 것 — 채용 담당자는 훑어보기만 하므로, API→S3→웨어하우스→대시보드로 이어지는 다이어그램 하나가 400단어의 설명보다 낫다는 점을 저자는 특히 강조한다.

6 6개월차: 인터뷰 준비는 감이 아니라 시스템이다

'그냥 복습하고 지원하기'는 안 된다. 데이터 엔지니어링 면접은 예측 가능한 구조를 가진다: SQL 라운드, Python 라운드, 데이터 모델링, 시스템 설계 대화, 행동 면접(behavioral) 스토리 — 각각을 의도적으로 준비해야 한다. 배울 것: 저자의 데이터 엔지니어링 인터뷰 체크리스트를 단계별로 따라간 뒤, SQL·Python·Spark 문제 세트를 반복 훈련한다 — 이 세 가지가 거의 모든 회사가 진행하는 세 라운드를 커버한다. 건너뛸 것: 없음 — 이번 달은 순수하게 아웃풋에 집중하는 달이다: 지원, 모의 면접, 그리고 실제 면접 하나하나가 끝날 때마다 무엇이 잘못됐는지 복기하는 것. 완료 확인 기준: 낯선 사람에게 5개월차 프로젝트를, 그 과정에서 겪은 실패 하나와 어떻게 고쳤는지까지 포함해서 5분 안에 설명할 수 있어야 한다 — 저자에 따르면 이 대답 하나만으로 행동 면접 라운드의 대부분을 통과할 수 있다.