Spark 로드맵

1 Spark 클러스터 아키텍처와 언어 API Chapter 2: A Gentle Introduction to Spark — Spark's Basic Architecture, Spark Applications, Spark's Language APIs (pp.3-7) 2 SparkSession, DataFrame, 파티션 Chapter 2: A Gentle Introduction to Spark — Starting Spark, SparkSession, DataFrames, Partitions (pp.7-9) 3 트랜스포메이션, 지연 평가, 액션과 Spark UI Chapter 2: A Gentle Introduction to Spark — Transformations, Lazy Evaluation, Actions, Spark UI (pp.9-11) 4 End-to-End 예제로 보는 실행 계획 (항공편 데이터) Chapter 2: A Gentle Introduction to Spark — An End to End Example, DataFrames and SQL (pp.12-21) 5 Dataset과 캐싱 — 타입 안전 API와 반복 접근 최적화 Chapter 3: A Tour of Spark's Toolset - 개요, Datasets, Caching Data for Faster Access (pp.22-26) 6 Structured Streaming 첫걸음 — 배치를 스트리밍으로 Chapter 3: A Tour of Spark's Toolset - Structured Streaming (pp.26-32) 7 MLlib로 배우는 Spark 머신러닝 파이프라인 Chapter 3: A Tour of Spark's Toolset - Machine Learning and Advanced Analytics (pp.32-38) 8 Spark 패키지 생태계와 GraphFrames Chapter 3: A Tour of Spark's Toolset - Spark's Ecosystem and Packages, GraphFrames (pp.38-43) 9 Structured API의 세 가지 얼굴: DataFrame, Dataset, SQL Chapter 4: Structured API Overview - 도입부, DataFrames and Datasets, Schemas 절 (PDF pp.44-47) 10 Catalyst 타입 시스템: untyped DataFrame vs typed Dataset Chapter 4: Overview of Structured Spark Types - Catalyst, DataFrame/Dataset 타입 차이, Columns, Rows 절 (PDF pp.45-47) 11 Structured API 실행 과정: 논리 계획에서 클러스터 실행까지 Chapter 4: Overview of Structured API Execution - Logical Planning, Physical Planning, Execution 절 (PDF pp.51-53) 12 DataFrame 스키마 정의와 컬럼·표현식 Chapter 5: Basic Structured Operations - Schemas, Columns and Expressions, Records and Rows 절 (PDF pp.54-63) 13 DataFrame 컬럼 조작: select/selectExpr, 리터럴, 추가·이름변경·제거·캐스팅 Chapter 5: DataFrame Transformations - Creating DataFrames, Select & SelectExpr, Literals, Adding/Renaming/Removing Columns, Casting 절 (PDF pp.63-75) 14 행 필터링, 고유값, 샘플링, 합치기, 정렬 Chapter 5: Filtering Rows, Getting Unique Rows, Random Samples/Splits, Concatenating and Appending Rows, Sorting Rows 절 (PDF pp.75-81) 15 결과 개수 제한, 파티셔닝(repartition/coalesce), 드라이버로 결과 수집 Chapter 5: Limit, Repartition and Coalesce, Collecting Rows to the Driver 절 (PDF pp.81-84) 16 표현식 API 지도와 불리언(Boolean) 다루기 Chapter 6: Working with Different Types of Data - Chapter Overview, Where to Look for APIs, Working with Booleans 절 (PDF pp.85-91) 17 숫자 다루기: 산술 연산과 통계 함수 Chapter 6: Working with Numbers 절 (PDF pp.91-96) 18 문자열과 정규표현식 다루기 Chapter 6: Working with Strings, Regular Expressions 절 (PDF pp.96-105) 19 날짜와 타임스탬프 다루기 Chapter 6: Working with Dates and Timestamps 절 (PDF pp.105-111) 20 null 다루기와 복합 타입(구조체·배열·맵) Chapter 6: Working with Nulls in Data, Working with Complex Types 절 (PDF pp.111-119) 21 JSON 다루기와 사용자 정의 함수(UDF) Chapter 6: Working with JSON, User-Defined Functions 절 (PDF pp.119-126)

22 Spark 핵심 아키텍처 (Driver/Executor/DAG/RDD) spark_ref_01.md Q1-10 (Core Concepts & Architecture) 23 RDD·DataFrame·Dataset와 데이터 처리 spark_ref_01.md Q11-20 (Data Structures & APIs) 24 성능 튜닝과 최적화 (스큐·셔플·Catalyst·Tungsten) spark_ref_01.md Q21-30 (Performance Tuning & Optimization) + FAQ(파티셔닝/브로드캐스트 조인/성능 최적화/cache·persist/데이터 스큐) 종합, 수치 오류 정정 포함 25 운영과 배포 (클러스터 매니저·장애 복구·직렬화) spark_ref_01.md Q31-40 (Operations & Deployment) 26 실전 코딩 시나리오 (조인·UDF·파티셔닝) spark_ref_01.md Q41-50 (Advanced Scenarios & Coding Logic)

27 70개 질문 블로그로 보는 추가 확인 사항 — 파티셔너와 튜닝 체크리스트 70 Spark Interview Questions for Data Engineers (전체 50문항 + FAQ)

28 로컬 Spark 세션과 파티션의 실체 — 코어 개수가 아니라 파티션 개수가 병렬성을 정한다 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — Setup, SparkSession, Partitions (문서 상단부) 29 지연 평가는 실제로 Jobs 탭에 어떻게 찍히는가 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — Spark ignored your first five lines 구간, Jobs 페이지 스크린샷 30 ANSI 모드와 캐스트 에러 — 크래시와 조용한 데이터 손실 중 무엇을 고를 것인가 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "Eight rows out of 3,384 will kill the whole job" 구간 (8~10페이지) 31 대소문자 정규화와 dropDuplicates()의 함정 — 정제는 기본값이 아니라 선택이다 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "The lower() call earns its place too" ~ "dropDuplicates() misses the duplicates that matter" 구간 (11~14페이지) 32 조인 결과는 반드시 행 수로 검증한다 — cache(), left_anti join, BroadcastHashJoin 확인 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "The join is fast because 400 rows fit in memory" 구간 (14~17페이지) 33 groupBy는 셔플이다 — spark.sql.shuffle.partitions 200과 AQE의 파티션 재조정 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "One groupBy, 200 tasks, and 151 files nobody wants" 구간 (17~22페이지) 34 AQE를 껐을 때와 켰을 때 — small files problem을 숫자로 확인하기 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "The cost of losing that safety net shows up on disk" 구간 (22~24페이지) 35 partitionBy와 파티션 프루닝 — 어떤 컬럼을 파티션 키로 고를 것인가 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — "Write it out, then read it back like a stranger would" 구간 (24~26페이지) 36 FAQ 보강 — PySpark 학습 경로와 ETL 적합성 판단, 로컬 vs 클러스터 PySpark Tutorial: Build a Real Pipeline and Read the Spark UI — Frequently asked questions 구간 (27~29페이지)

37 배치와 스트림, 하나의 엔진으로 — Spark 관점에서 재구성한 처리 모델 비교 Batch vs Stream Processing: The Plain-English Guide (2026) — 전체(1~7페이지, assumption/time semantics/computation model/state 구간)를 Spark 아키텍처 관점에서 재구성 38 언제 Spark 배치, 언제 Structured Streaming인가 — 실무 판단 체크리스트 Batch vs Stream Processing: The Plain-English Guide (2026) — freshness/failure handling/cost/output nature 및 When to Use 체크리스트 구간(7~10페이지)을 Spark 파이프라인 맥락으로 재구성

39 Executor·Driver 자원 할당 메커니즘과 효율적 사이징 웹 리서치 종합 — spark-submit 설정 가이드, executor 사이징 경험칙, Dynamic Allocation 공식 문서 40 Executor 내부 메모리 모델 — Unified Memory Manager와 페이지(세그먼트) 단위 할당 웹 리서치 종합 — Unified Memory Manager 구조, TaskMemoryManager/MemoryBlock 페이지 할당 메커니즘(japila.pl Spark Internals 기준)

41 AQE(Adaptive Query Execution) 세부 설정 완전정복 Spark 4.2.0 공식 문서 sql-performance-tuning.html — AQE 설정 전체 목록 42 조인 전략 선택 — 힌트와 4가지 물리적 조인 방식 Spark 4.2.0 공식 문서 sql-performance-tuning.html — Join Strategy Hints 43 셔플·직렬화·압축·스케줄링 설정 총정리 — 실전 튜닝 체크리스트 Spark 4.2.0 공식 문서 configuration.html — Serialization/Compression/Scheduling 설정 종합

44 상태 저장 스트림 처리와 워터마크 — 늦은 데이터는 어떻게 처리되는가 Spark 공식 Structured Streaming Programming Guide — Watermarking 절 45 Spark 면접 단골 질문 모음 여러 Spark 인터뷰 준비 자료·기술 블로그에서 공통으로 반복되는 질문을 교차 확인해 정리

46 Spark와 Iceberg/Delta Lake 연동 — 카탈로그 설정과 MERGE INTO Apache Iceberg 공식 문서 Spark Configuration/DDL 가이드 47 비용 기반 옵티마이저(CBO)와 테이블 통계 — ANALYZE TABLE Databricks CBO 공식 문서 + japila.pl Spark SQL Internals(Cost-Based Optimization)

48 Window Function Frame 경계 — rowsBetween과 rangeBetween의 차이 Apache Spark 공식 문서 pyspark.sql.Window.rowsBetween/rangeBetween 49 PySpark UDF의 Arrow 최적화 — 설정과 UDAF 대안 Apache Spark 공식 문서 Apache Arrow in PySpark 사용자 가이드

50 Whole-Stage Code Generation — Volcano 모델을 깨고 여러 연산을 함수 하나로 japila.pl Mastering Spark SQL — Whole-Stage Java Code Generation 51 Spark on Kubernetes 배포 모델 — 드라이버/익스큐터 파드와 디커미셔닝 Apache Spark 공식 문서 Running Spark on Kubernetes

52 Dynamic Partition Pruning — 조인 상대편 필터를 파티션 스캔에 재사용하기 Apache Spark JIRA SPARK-11150 및 커뮤니티 기술 자료 53 RocksDB State Store Provider — 대용량 스트리밍 상태의 GC 압박 해결 Apache Spark 공식 문서 Structured Streaming Programming Guide — State Store

54 Spark Connect — 드라이버와 클라이언트를 분리하는 클라이언트-서버 아키텍처 Apache Spark 공식 문서 Spark Connect Overview

55 Delta Lake 유지보수 — OPTIMIZE/ZORDER로 압축·정렬, VACUUM으로 청소 Delta Lake 공식 문서 Compaction and Z-Ordering, Utility commands 56 pandas API on Spark — Koalas가 PySpark 안으로 흡수된 이유 Apache Spark 공식 문서 Migrating from Koalas to pandas API on Spark

57 Continuous Processing — 마이크로배치를 포기하고 밀리초 지연을 얻는 실험적 모드 Apache Spark 공식 문서 Structured Streaming Performance Tips 58 Barrier Execution Mode — Spark 안에 MPI 스타일 분산 학습을 끼워넣기 Apache Spark JIRA SPARK-24374(Project Hydrogen)

59 foreachBatch — 마이크로배치 출력을 평범한 배치 DataFrame처럼 다루기 Databricks 공식 문서 Use foreachBatch to write to arbitrary data sinks 60 Vectorized Parquet Reader — 행 하나씩이 아니라 컬럼 배치 단위로 디코딩하기 The Internals of Spark SQL — Vectorized Parquet Decoding

61 mapGroupsWithState/flatMapGroupsWithState — GroupState로 임의의 상태 로직 짜기 The Internals of Spark Structured Streaming — mapGroupsWithState 62 applyInPandasWithState — PySpark 네이티브 임의 상태 처리와 그 후속 transformWithState PySpark 공식 문서 GroupedData.applyInPandasWithState 및 Databricks 블로그 Python Arbitrary Stateful Processing

63 DataFrame.explain() 다섯 가지 모드 — 무엇을 보고 싶은지에 따라 달라지는 출력 PySpark 공식 문서 DataFrame.explain 64 Delta Lake Change Data Feed(CDF) — 테이블의 행 단위 변경 이력을 그대로 읽기 Delta Lake 공식 문서 Change data feed

65 ML Pipeline 모델 영속화 — 언어 경계를 넘나드는 save/load Apache Spark 공식 문서 ML Pipelines — Persistence 66 CrossValidator와 TrainValidationSplit — 파라미터 조합을 자동으로 평가하기 Apache Spark 공식 문서 ML Tuning — model selection and hyperparameter tuning

67 Stream-Stream Join — 두 스트림을 실시간으로 맞춰 붙이기 Apache Spark 공식문서 Structured Streaming Programming Guide — Join Operations 68 Delta Lake Time Travel — VACUUM이 지운 과거는 되돌아갈 수 없다 Delta Lake 공식 블로그 Time Travel, Microsoft Fabric 공식문서 Delta Lake time travel

69 Delta Lake Schema Enforcement vs Schema Evolution — 기본은 거부, 옵션으로 허용 Delta Lake 공식 블로그 Schema Enforcement, Schema Evolution 70 pandas_udf 타입 — SCALAR/GROUPED_MAP/GROUPED_AGG의 서로 다른 입출력 계약 Apache Spark 공식문서 pyspark.sql.functions.pandas_udf

71 Delta Lake Deletion Vectors — 파일을 안 지우고 마스크만 남긴다 Delta Lake 공식 블로그 Deletion Vectors, Microsoft Learn Deletion vectors in Databricks 72 Spark 4.0 VARIANT 타입 — JSON을 매번 다시 파싱하지 않는다 Databricks 공식 블로그 Introducing the Open Variant Data Type in Delta Lake and Apache Spark

73 Delta Lake CHECK/NOT NULL 제약 — 스키마를 넘어 값 자체를 검증한다 Databricks 공식문서 ALTER TABLE ADD CONSTRAINT 74 DataSource V2 API — 커넥터들이 공통으로 올라서는 확장 아키텍처 Apache Spark 공식문서 Data Source V2

75 Delta Lake Liquid Clustering — 파티션도 Z-Order도 아닌 세 번째 방식 Delta Lake 공식 블로그 Liquid Clustering 76 Python Data Source API — Scala 없이 커스텀 데이터소스를 만든다 Apache Spark 공식문서 Python Data Source API tutorial

77 History Server — 잡이 끝난 뒤에도 Spark UI를 다시 열어본다 Apache Spark 공식문서 Monitoring and Instrumentation 78 Bucketing과 Sort-Merge Bucket Join — 저장 시점에 미리 분산해 셔플을 없앤다 japila.pl The Internals of Spark SQL — Bucketing, SPARK-27865

79 mapInPandas — 그룹 없이 파티션 단위로 pandas 변환을 적용한다 Apache Spark 공식문서 pyspark.sql.DataFrame.mapInPandas 80 foreach()/ForeachWriter — 마이크로배치가 아니라 레코드 하나씩 쓴다 Databricks 공식 문서 Use foreachBatch to write to arbitrary data sinks

81 RESTORE TABLE — Time Travel은 '보기'만, RESTORE는 실제로 '되돌리기' Databricks 공식문서 RESTORE 82 Aggregator API — 타입 안전한 집계 함수를 직접 만든다 Apache Spark 공식 Javadoc org.apache.spark.sql.expressions.Aggregator

83 Delta Lake Generated Columns — 파티션 필터를 자동으로 유도한다 Databricks 공식문서 Delta Lake generated columns 84 다중 워터마크 정책 — 여러 스트림의 워터마크가 다르면 무엇을 기준으로 삼는가 Apache Spark 공식문서 Structured Streaming Programming Guide