Resources
Roadmap
Azure Data Engineer in 2026: Skills, Roadmap, Salary & Certification
— docs/Azure Data Engineer in 2026_ Skills, Roadmap, Salary & Certification.pdf
Azure Data Engineer라는 직무가 실제로 무엇을 하는 자리인지, 어떤 Azure 툴과 기초 스킬이 필요한지, DP-203에서 DP-700(Fabric)으로 옮겨가는 자격증 지형을 어떻게 읽어야 하는지, 대략적인 연봉 밴드는 어느 정도인지, 그리고 처음부터 시작한다면 어떤 순서로 밟아가야 하는지를 하나의 흐름으로 엮은 개론+로드맵 글이다. 저자는 화려한 툴 목록보다 SQL·Python 같은 기초와 실전 프로젝트를 반복해서 강조한다.
데이터 엔지니어는 분석가와 데이터 과학자가 쓸 수 있도록 데이터를 수집·정제·저장·이동시키는 시스템을 만드는 사람이며, 저자는 이를 '평소엔 아무도 신경 쓰지 않지만 고장 나면 모두가 알아채는 집안 배관'에 비유한다. Azure Data Engineer는 같은 일을 자체 서버 대신 Microsoft Azure라는 '이미 모든 조리기구가 갖춰진 대형 임대 주방'에서 수행하는 사람으로, 핵심 역량(데이터를 옮기고 다듬는 능력) 자체는 동일하고 그 주방의 특정 도구들에 특화되어 있다는 점만 다르다는 것이 저자의 설명이다. 은행·병원·리테일 체인 등 이미 Microsoft 생태계(Windows, Office, Teams)에 있던 대형 기업들이 클라우드로 옮길 때 별다른 검토 없이 Azure를 그대로 쓰는 경향이 있어, 이 직무 수요가 꾸준하고 급여도 좋다고 저자는 관찰한다.
저자에 따르면 이 역할은 화려한 AI 업무가 아니라 실용적이고 다소 반복적인 일이며, 그 반복성 자체가 '신뢰할 수 있음'을 의미하는 장점이라고 본다. 한 주를 채우는 일은 대체로 다음 네 가지다: (1) 데이터베이스·결제 API·CSV·앱 이벤트 로그 등 여러 소스에서 데이터를 끌어와 한곳에 모으는 파이프라인 구축, (2) 날짜 형식 오류·결측치·중복 행 등 지저분한 원본 데이터를 정제·변환하는 작업, (3) 정제된 데이터를 분석팀이 리포트를 돌릴 수 있는 웨어하우스/레이크하우스에 적재하는 작업, (4) 하루 한 번 몰아서 오는 배치 데이터와 결제·클릭처럼 끊임없이 들어오는 스트리밍 데이터를 모두 처리하는 일, (5) 소스 포맷 변경·메모리 부족·파일 지연 등으로 파이프라인이 깨질 때 모니터링·알림·복구를 하고 비용이 폭주하지 않게 관리하는 일. 저자는 이커머스 회사에서 매일 밤 주문·클릭·광고비 데이터를 정제·조인해 새벽까지 대시보드에 반영해두는 예시를 들며, 마케팅팀이 이 과정을 전혀 의식하지 않는 '침묵' 자체가 일을 잘하고 있다는 신호라고 말한다.
저자는 각 툴을 하나의 단순한 개념으로 요약한다: Azure Data Factory(ADF)는 데이터를 픽업해 처리 단계를 거쳐 원하는 곳에 내려놓는 '파이프라인 빌더/컨베이어 벨트'로, 이 직무의 핵심이라 딱 하나만 깊게 배운다면 이것을 택하라고 권한다. Azure Data Lake Storage(ADLS Gen2)는 정제 전 원본 데이터를 무엇이든 쌓아두는 '거대한 저장고'다. Azure Synapse Analytics는 정제된 데이터가 머무르며 빠른 쿼리와 리포트를 돌리는 웨어하우스/분석 엔진이다. Azure Databricks는 데이터 규모가 수억 행 단위로 커졌을 때 Apache Spark로 여러 머신에 나눠 처리하는 '중노동 담당' 기계로, 저자는 이를 시장에서 가장 수요가 높은 스킬 중 하나로 꼽는다. Azure Event Hubs와 Stream Analytics는 클릭·센서·결제 이벤트처럼 끊이지 않는 데이터를 즉시 처리하는 실시간 툴이다. Microsoft Fabric은 저장·파이프라인·분석을 하나로 묶은 신규 통합 플랫폼으로, Microsoft가 힘을 싣고 있어 자격증 선택에도 영향을 준다. 저자는 이 목록을 통째로 암기하지 말고 Data Factory부터 작은 프로젝트를 만들어보며 하나씩 익히라고 조언한다.
저자는 Azure 툴은 기초 위에 얹히는 것일 뿐이며 기초가 약하면 어떤 Azure 툴도 구원해주지 못한다고 강조한다. (1) SQL: 데이터의 언어로 매일 쓰게 되며 Azure보다 먼저 다져야 할 비타협 항목. (2) Python: 파이프라인·스크립트·변환 작업의 자동화 언어로, 소프트웨어 개발자 수준까지는 필요 없지만 깔끔한 스크립트 작성·파일 처리·API 호출은 편해야 한다. (3) PySpark: 데이터가 한 머신에 담기지 않을 만큼 커졌을 때 Databricks에서 쓰게 되며, 저자는 이를 주니어와 '기업들이 서로 데려가려는 사람'을 가르는 스킬이라고 표현한다. (4) 데이터 모델링과 웨어하우징 개념: 팩트/디멘션 테이블, 스타 스키마, SCD(느리게 변하는 차원) 등 데이터를 어떻게 구조화할지에 관한 설계 역량. (5) Azure 기초: 스토리지·컴퓨트·보안·네트워킹이 클라우드에서 어떻게 동작하는지에 대한 기본 이해로, 구조화된 입문 경로를 원한다면 AZ-900 인증이 있다. 저자는 이 중 SQL·Python·데이터 모델링 세 가지는 Azure와 무관한 범용 스킬이라, 나중에 AWS나 GCP로 옮기더라도 대부분 그대로 이전된다는 점을 강조한다.
오랫동안 업계가 목표로 삼던 시험은 DP-203(Azure Data Engineer Associate)이었지만, Microsoft가 데이터 관련 제품군 전체를 Microsoft Fabric 쪽으로 옮기면서 자격증 흐름도 DP-700(Fabric Data Engineer Associate)으로 이동하는 중이라 채용 공고에 두 이름이 혼재해 있다고 저자는 설명한다. 저자 개인의 견해로는, 2026년에 새로 시작하는 사람이라면 Fabric을 배우고 DP-700 쪽으로 기우는 편이 낫지만(Microsoft가 힘을 싣는 방향이라서), 그렇다고 Data Factory·Synapse·Databricks 같은 기존 스택을 버릴 필요는 없다고 본다 — 여전히 수많은 기업이 이 스택으로 운영 중이기 때문이다. 시험을 결제하기 전에는 반드시 공식 Microsoft Learn 사이트에서 최신 시험 상태를 직접 확인하라고 권한다(자격증은 은퇴·개명·통합이 잦다는 이유). 또한 저자는 자격증은 '이력서 필터'를 통과시켜 줄 뿐 그 자체로 채용을 보장하지 않으며, 면접이 채용을 결정하고 실전 프로젝트가 면접을 통과시켜 준다는 점, 그리고 자격증 세 개를 가진 사람도 실제 파이프라인을 만들지 못해 탈락하는 경우를 봤다는 점을 강조한다.
저자는 연봉이 지역·경력·협상력에 크게 좌우되므로 아래 수치를 '누군가 해준 약속'이 아니라 '대략적인 범위'로만 받아들이라고 명시한다. 원문 표 기준(경력별, 인도/미국): 엔트리(0~2년) 인도 ₹6~10 LPA / 미국 $90k~$110k, 미드레벨(2~5년) 인도 ₹12~22 LPA / 미국 $115k~$140k, 시니어(5년 이상) 인도 ₹25~45 LPA 이상 / 미국 $150k~$190k 이상. 저자는 클라우드 스킬이 단순 SQL·리포팅 역할 대비 뚜렷한 프리미엄을 받고, 그중에서도 Databricks·Spark 경험이 각 구간에서 상단으로 밀어 올리는 경향이 있다고 관찰한다(기업들이 채용에 어려움을 겪는 스킬이라서). 또한 엔트리와 시니어 간 격차는 근속 연수보다 '실제로 배포한 프로젝트와 해결한 문제의 수'에서 대부분 비롯된다는 것이 저자가 가장 자주 놓치는 포인트로 꼽는 부분이다.
저자가 처음부터 다시 시작한다면 따를 순서로 제시한 9단계(각 단계는 앞 단계 위에 쌓이므로 건너뛰지 말 것을 권고): 1) SQL 마스터 — 조인·group by·윈도우 함수·서브쿼리까지 진지하게 시간 투자. 2) Python 학습 — pandas 등으로 파일 처리·API 호출·데이터 다루기를 자동화할 수준. 3) 데이터 엔지니어링 기초 이해 — 파이프라인, ETL vs ELT, 데이터 레이크 vs 웨어하우스 개념. 4) Azure 기초 다지기 — 구조화된 입문을 원하면 AZ-900. 5) 핵심 Azure 스택 학습 — Data Factory(파이프라인) → ADLS Gen2(스토리지) → Synapse(웨어하우스) 순으로 작은 것부터 만들어보기. 6) Spark와 Databricks 추가 — 카피·붙여넣기 수준이 아니라 PySpark를 제대로 배우기. 7) Microsoft Fabric 탐색 — Microsoft가 베팅 중인 방향이므로 미리 익혀두면 앞서갈 수 있음. 8) 엔드투엔드 프로젝트 2~3개 완성 — 실제로 채용까지 이어지는 단계. 9) 면접 준비와 자격증 취득 — DP-700(또는 특정 기업이 여전히 요구한다면 DP-203)을 목표로 면접 문제 패턴에 익숙해질 때까지 반복. 저자는 전체 여정이 마라톤이며 몇 달의 꾸준한 노력이 필요하다고 말한다.
저자가 반복적으로 목격했다는 세 가지 함정: (1) SQL·Python을 익히기 전에 곧바로 Azure 툴로 뛰어드는 것 — Data Factory를 클릭하며 생산적인 기분은 들지만 뭔가 고장 나는 순간 왜 그런지 이해하지 못하게 된다. (2) 프로젝트를 만드는 대신 자격증만 수집하는 것 — 실제 프로젝트 없는 배지 나열은 면접에서 오히려 위험 신호로 읽힌다. (3) 수십 개나 되는 Azure 서비스를 한 번에 다 배우려는 것 — 시작 단계에는 대여섯 개면 충분하고 나머지는 프로젝트가 실제로 필요로 할 때 배우면 된다는 것이 저자의 조언이다. 튜토리얼을 한 번에 성공시키고 왜 되는지 모른다면 아직 배운 게 아니라는 점도 함께 강조한다.
저자에 따르면 Azure Data Engineer 면접은 예측 가능한 몇 가지 영역을 테스트하는 경향이 있다 — SQL(항상 나온다고 봐야 함), Python, Azure 서비스에 대한 이해와 언제 어떤 것을 쓸지 판단하는 능력, 그리고 '이런 상황이면 파이프라인을 어떻게 설계하겠는가' 같은 시나리오형 질문. 데이터 엔지니어링 면접은 패턴이 반복되는 편이라 문제를 충분히 접하고 나면 그 형태가 눈에 익어 두려움이 줄어든다는 것이 저자의 관찰이다.