Kafka 로드맵

1 Kafka의 기본 구성 요소 (Pub/Sub, 메시지, 토픽·파티션, 브로커) Chapter 1: Meet Kafka — Publish/Subscribe Messaging ~ Multiple Clusters (pp.1-9) 2 Kafka를 선택하는 이유와 탄생 배경 Chapter 1: Meet Kafka — Why Kafka? ~ Getting Started with Kafka (pp.10-16) 3 Kafka 설치와 브로커 설정 Chapter 2: Installing Kafka — First Things First ~ Broker Configuration (pp.17-28) 4 하드웨어 선정, 클러스터 사이징, OS 튜닝과 프로덕션 고려사항 Chapter 2: Installing Kafka — Hardware Selection ~ Summary (pp.28-39) 5 프로듀서 구조와 메시지 전송 3가지 방식 Chapter 3: Kafka Producers — Producer Overview / Constructing a Kafka Producer / Sending a Message to Kafka (pp.41-48) 6 프로듀서 설정, 직렬화(Avro), 파티셔닝 Chapter 3: Kafka Producers — Configuring Producers / Serializers / Partitions (pp.48-61) 7 컨슈머 그룹, 리밸런스, poll 루프와 컨슈머 설정 Chapter 4: Kafka Consumers — Kafka Consumer Concepts / Creating a Kafka Consumer / Subscribing to Topics / The Poll Loop / Configuring Consumers (pp.63-75) 8 오프셋 커밋 전략, 리밸런스 리스너, seek와 정상 종료 Chapter 4: Kafka Consumers — Commits and Offsets / Rebalance Listeners / Consuming Records with Specific Offsets / But How Do We Exit? / Deserializers / Standalone Consumer (pp.75-93) 9 클러스터 멤버십과 컨트롤러, 그리고 복제의 기본 구조 Chapter 5: Kafka Internals — Cluster Membership / The Controller / Replication (pp.95-98) 10 브로커의 요청 처리 파이프라인 (Produce / Fetch / Metadata) Chapter 5: Kafka Internals — Request Processing (pp.99-105) 11 물리적 저장: 파티션 할당, 세그먼트, 인덱스, 로그 컴팩션 Chapter 5: Kafka Internals — Physical Storage / File Management / File Format / Indexes / Compaction (pp.105-113) 12 신뢰성 보장과 브로커 설정 (복제 팩터, unclean leader election, min.insync.replicas) Chapter 6: Reliable Data Delivery — Reliability Guarantees / Replication / Broker Configuration (pp.115-121) 13 신뢰성 있는 프로듀서·컨슈머 사용법과 시스템 검증 Chapter 6: Reliable Data Delivery — Using Producers/Consumers in a Reliable System / Validating System Reliability (pp.121-133) 14 데이터 파이프라인 설계 고려사항과 Kafka Connect Chapter 7: Building Data Pipelines (pp.135-156) 15 멀티클러스터가 필요한 이유와 4가지 아키텍처 패턴 Chapter 8: Cross-Cluster Data Mirroring — Use Cases of Cross-Cluster Mirroring / Multicluster Architectures (pp.157-170) 16 DR 페일오버 — 데이터 유실, 시작 오프셋 결정, 페일백 Chapter 8: Cross-Cluster Data Mirroring — Active-Standby Architecture: failover details (pp.164-169) 17 MirrorMaker 동작 원리, 배포, 모니터링과 튜닝 Chapter 8: Cross-Cluster Data Mirroring — Apache Kafka's MirrorMaker / Other Cross-Cluster Mirroring Solutions (pp.170-180) 18 토픽 운영과 컨슈머 그룹·오프셋 관리 CLI Chapter 9: Administering Kafka — Topic Operations / Consumer Groups / Offset Management (pp.181-190) 19 동적 설정, 파티션 관리, 콘솔 도구와 위험한 운영 작업 Chapter 9: Administering Kafka — Dynamic Configuration Changes / Partition Management / Consuming and Producing / Unsafe Operations (pp.190-210) 20 모니터링 기초 — 지표는 어디에 있고, 무엇을 알람으로 걸 것인가 Chapter 10: Monitoring Kafka — Metric Basics (Where Are the Metrics? / Internal or External Measurements / Application Health Checks / Metric Coverage) (pp.211-213) 21 Under-Replicated Partitions — 단 하나만 봐야 한다면 이 지표 Chapter 10: Monitoring Kafka — Kafka Broker Metrics / Under-Replicated Partitions (Cluster-level problems / Host-level problems) (pp.213-220) 22 브로커 지표 상세 — 컨트롤러, 요청 핸들러, 트래픽, 요청 타이밍 Chapter 10: Monitoring Kafka — Broker Metrics / Request metrics / Topic and Partition Metrics (pp.220-231) 23 JVM·OS 모니터링과 로깅 설정 Chapter 10: Monitoring Kafka — JVM Monitoring / OS Monitoring / Logging (pp.231-235) 24 클라이언트 모니터링, 쿼터, Lag 모니터링, End-to-End 모니터링 Chapter 10: Monitoring Kafka — Client Monitoring (Producer Metrics / Consumer Metrics / Quotas) / Lag Monitoring / End-to-End Monitoring (pp.235-245)

25 이벤트 스트리밍과 Kafka의 3가지 핵심 기능 Getting Started 공식문서 — 1. Introduction (pp.1-5) 26 Kafka 활용 사례 (Use Cases) Getting Started 공식문서 — 2. Use Cases (pp.6-7) 27 Kafka Quick Start (1) — 설치·브로커 기동·토픽 생성과 이벤트 송수신 Getting Started 공식문서 — 3. Quick Start, Step 1~6 (pp.8-12) 28 Kafka Quick Start (2) — Kafka Streams 처리, 환경 종료, Ecosystem Getting Started 공식문서 — 3. Quick Start Step 7~8, 4. Ecosystem (pp.13-15) 29 업그레이드 원칙 — 롤링 업그레이드와 메타데이터 버전 Section 5: Upgrading — 'Upgrading to X.Y.Z' 반복 패턴 및 'Note' 전제조건 (pp.16-33) 30 Kafka 4.0.0 핵심 변경사항 — ZooKeeper 완전 제거와 API 정리 Section 5: Upgrading — 'Notable changes in 4.0.0' (pp.26-33) 31 KRaft 모드에서 달라지는 설정·메트릭·기능 Section 6: KRaft vs ZooKeeper — Differences Between KRaft mode and ZooKeeper mode (pp.34-40) 32 호환성 매트릭스와 Docker로 실행하기 Section 7: Compatibility (pp.41-43), Section 8: Docker (pp.44-45)

33 Kafka 핵심 아키텍처 — 토픽, 파티션, 브로커, 리플리케이션 kafka_ref_01(Q1-9,14-21), kafk_ref_02(Q1-4,7-8,32), kafka_ref_05(Q1-5) 종합. kafk_ref_02의 Kafka vs RabbitMQ 처리량 비교 수치(Q32, '10만 vs 2만 msg/sec')는 출처 불명확한 벤치마크 주장이라 판단해 구체 수치 대신 구조적 차이 설명으로 완화. 34 ZooKeeper에서 KRaft로 — 클러스터 메타데이터 관리의 세대교체 kafka_ref_01(Q10-13)의 최신 서술을 정확한 기준으로 삼아, kafk_ref_02(Q5,Q6,Q16 — 'ZooKeeper 없이는 Kafka 서버에 연결할 수 없다', 'Kafka 서버를 시작하려면 반드시 ZooKeeper를 먼저 띄워야 한다'), kafka_ref_04('Kafka는 3.x대에 KRaft로 이동 중'이라는 진행형 서술), kafka_ref_05(Q1,Q14 — ZooKeeper를 여전히 현재의 표준 아키텍처로, KRaft를 '미래에 없앨 대상'으로 서술)의 오래된 내용을 Kafka 4.0 기준(ZooKeeper 모드 완전 제거)으로 수정. 37 Kafka Streams와 확장 생태계 — KStream/KTable, 윈도우, Connect, ksqlDB kafka_ref_01(Q68-80), kafk_ref_03(Section 8 Kafka Streams vs Spark Streaming), kafka_ref_04(KTable, 스트림 조인, ksqlDB 관련 문항), kafka_ref_05(Q8,Q13) 종합.

35 프로듀서 신뢰성과 컨슈머 그룹 — acks, 멱등성, 트랜잭션, 리밸런싱 kafk_ref_03(Section 3 프로듀서, Section 4 컨슈머 메커니즘), kafka_ref_01(Q35-58,75), kafka_ref_05(Q9) 종합. kafk_ref_03의 '리밸런싱은 항상 stop-the-world' 서술을 CooperativeStickyAssignor(2.4+) 및 KIP-848(Kafka 4.0 GA) 기준으로 수정했고, 'EOS는 약 10~20% 지연 오버헤드를 추가한다'는 구체 수치 주장은 근거 불명확하여 '워크로드에 따라 달라지는 실질적 오버헤드'로 완화. 36 Kafka 운영, 성능 튜닝과 장애 대응 kafk_ref_03(Section 5-6,10 실전 이슈/모니터링), kafka_ref_01(Q25-30,42-45,86-90), kafka_ref_04(성능 튜닝 문항), kafka_ref_05(Q7,Q12) 종합. kafk_ref_02(Q38 'Lack of Pace'를 Kafka 단점으로 서술)는 Kafka의 실제 강점(고처리량)과 상충하는 근거 불명확한 서술로 판단해 반영하지 않음.

38 프로듀서 튜닝 디테일 — 재시도, 배치, 압축, 메타데이터 캐싱 50 Kafka Interview Questions for Data Engineers (2026), Q9, Q22-26, Q37, Q41 39 컨슈머 그룹 운영 디테일 — 하트비트, 그룹 코디네이터/리더, 파티션 할당, 중복 처리 50 Kafka Interview Questions for Data Engineers (2026), Q12-13, Q15-16, Q35, Q42. Q13(Eager vs Cooperative Sticky)에 KIP-848 최신 프로토콜 맥락을 보강. 40 클러스터 운영 — 컨트롤러, 랙 어웨어니스, 파티션 설계, 멀티테넌시 50 Kafka Interview Questions for Data Engineers (2026), Q5, Q21, Q29, Q33, Q40, Q43, Q45, Q49, FAQ('How does Kafka handle replication?'). Q21의 컨트롤러 설명(ZK 시대의 'LeaderAndIsr 요청 전송' 서술)과 FAQ의 'ZooKeeper or KRaft가 새 리더를 선출' 서술을 현재(4.0+) KRaft 단일 체제 기준으로 정정. Q49의 '2-3배 과잉 파티셔닝' 서술에 과잉 파티셔닝의 실제 비용을 보강.

41 Kafka vs Kinesis vs Pub/Sub — 아키텍처 철학과 벤치마크 수치 비교 Kafka vs Kinesis vs Pub/Sub 2026: Streaming Platform Showdown — Apache Kafka/AWS Kinesis/Google Pub/Sub 아키텍처 섹션, Head-to-Head 수치 섹션. 'Pub/Sub는 Dataflow 파이프라인 안에서만 exactly-once'라는 서술을 Pub/Sub의 구독 단위 네이티브 exactly-once delivery 기능 기준으로 정정. Exactly-once의 '10-20% 처리량 저하'는 출처가 명확한 벤치마크가 아니라 워크로드에 따라 크게 달라지는 수치로 다룸. 42 스트리밍 플랫폼 선택 기준, 비용 크로스오버, MSK/Confluent Cloud, 흔한 실수 Kafka vs Kinesis vs Pub/Sub 2026: Streaming Platform Showdown — Pricing Reality Check, When to Choose What, What About Amazon MSK?, Common Mistakes 섹션. 가격 수치는 원문이 '2026년 초 공개 가격 기준 추정치이며 실제 비용은 다를 수 있다'고 명시한 예시 추정값이므로 그대로 예시로 다루고 절대 기준으로 취급하지 않는다.

43 Kafka 보안 — 인증(SASL/SSL)과 인가(ACL) Apache Kafka 4.0 공식 문서 security/authorization-and-acls + SASL 메커니즘 비교 자료 종합 44 Kafka 면접 단골 질문 모음 여러 Kafka 인터뷰 준비 자료·기술 블로그에서 공통으로 반복되는 질문을 교차 확인해 정리

45 Tiered Storage — 로컬과 원격 계층으로 나눠 저장하기 Apache Kafka 공식 문서 operations/tiered-storage (KIP-405, Kafka 3.9부터 프로덕션 레디) 46 Schema Registry 호환성 모드 — BACKWARD/FORWARD/FULL과 배포 순서 Confluent 공식 문서 schema-registry/fundamentals/schema-evolution

47 Kafka Connect SMT(Single Message Transform)와 헤더 활용 Confluent 공식 문서 kafka-connectors/transforms/overview 48 KRaft 컨트롤러 쿼럼 사이징 — controller.quorum.voters와 홀수 노드 Apache Kafka 공식 문서 operations/kraft

49 Kafka Streams의 정확히 한 번(EOS) 처리 — processing.guarantee=exactly_once_v2 Apache Kafka 공식 문서 Streams Upgrade Guide 및 Configuring a Streams Application

50 Kafka Connect — source/sink 커넥터 구분과 3개 내부 토픽(offset/config/status) Apache Kafka 공식 문서 Kafka Connect 및 AWS MSK Kafka Connect 내부 토픽 가이드 51 브로커 디스크 장애 — log.dirs 중 일부/전체가 실패했을 때의 동작 Apache Kafka JIRA KAFKA-8046 및 관련 log.dirs 장애 사례

52 Kafka Streams Interactive Queries — 애플리케이션 밖에서 상태 저장소 들여다보기 Apache Kafka 공식 문서 Interactive Queries

53 좀비 펜싱 — transactional.id와 producer epoch로 유령 프로듀서 차단하기 Apache Kafka KIP-447 및 Confluent 블로그 Transactions in Apache Kafka 54 Kafka Connect Dead Letter Queue — sink 커넥터의 문제 레코드 격리 Apache Kafka KIP-298 및 Confluent 블로그 Kafka Connect Deep Dive Error Handling and Dead Letter Queues

55 Kafka Streams Punctuate — 데이터 시간(STREAM_TIME) vs 시스템 시간(WALL_CLOCK_TIME) Apache Kafka Javadoc PunctuationType 56 ISR 축소/확장 — replica.lag.time.max.ms가 판정하는 두 가지 조건 KIP-501 및 replica.lag.time.max.ms 관련 커뮤니티 기술 문서

57 suppress() — 윈도우 집계의 중간 결과를 누르고 최종 결과만 내보내기 Apache Kafka Javadoc Suppressed 및 Confluent 튜토리얼 Window final result 58 KRaft 동적 쿼럼 재구성(KIP-853) — 클러스터를 멈추지 않고 컨트롤러를 넣고 빼기 KIP-853: KRaft Controller Membership Changes

59 KIP-848 — JoinGroup/SyncGroup을 없애고 서버가 직접 할당을 계산하는 새 리밸런싱 KIP-848: The Next Generation of the Consumer Rebalance Protocol 60 num.standby.replicas — Kafka Streams 상태 저장소의 핫 스탠바이 Confluent 공식 문서 Plan and Size Capacity for Kafka Streams 및 Configure a Kafka Streams Application

61 Kafka Connect Source EOS(KIP-618) — 오프셋 커밋을 트랜잭션 안에 가둔다 KIP-618: Exactly-Once Support for Source Connectors 62 KIP-392 — 컨슈머가 리더 대신 '가장 가까운' 레플리카에서 읽기 KIP-392: Allow consumers to fetch from closest replica

63 OAUTHBEARER 재인증(KIP-368) — 짧은 수명 토큰이 실제로 의미 있으려면 KIP-368: Allow SASL Connections to Periodically Re-Authenticate 64 Kafka Connect Sink 커넥터의 전달보장 — 기본은 at-least-once, exactly-once는 싱크에 달렸다 Confluent 공식 문서 Message Delivery Guarantees 및 Elasticsearch Sink Connector

65 GlobalKTable — co-partitioning 없이 조인하기 Apache Kafka 공식문서 Streams DSL — GlobalKTable 66 Kafka Streams Processor API — DSL 밑의 저수준 세계 Apache Kafka 공식문서 Streams Processor API

67 Share Groups(KIP-932) — 파티션 하나를 여러 컨슈머가 나눠 먹는다 Apache Kafka KIP-932: Queues for Kafka (Early Access, 4.0) 68 producer.id.expiration.ms(KIP-854) — 오래 유휴 상태인 프로듀서 ID 정리하기 Apache Kafka KIP-854: Separate configuration for producer ID expiry

69 Foreign-Key Join(KIP-213) — 재키잉 없이 서로 다른 키의 테이블을 조인한다 Apache Kafka KIP-213: Support non-key joining in KTable, Confluent 공식 블로그 70 KIP-441 — 새 인스턴스를 워밍업시켜 스케일아웃 다운타임을 없앤다 Apache Kafka KIP-441: Smooth Scaling Out for Kafka Streams

71 listeners vs advertised.listeners — 바인딩 주소와 광고 주소는 다르다 Confluent 공식 블로그 Kafka Listeners – Explained 72 Sticky Partitioner(KIP-480) — 키 없는 메시지를 라운드로빈 대신 뭉쳐 보낸다 Apache Kafka KIP-480: Sticky Partitioner

73 윈도우 Grace Period — 창을 닫기 전에 얼마나 더 기다려줄 것인가 Apache Kafka 공식 Javadoc TimeWindows 74 MirrorMaker 2 오프셋 변환 — 페일오버 후 '어디서부터 다시 읽을지'를 알아낸다 KIP-382: MirrorMaker 2.0

75 Producer/Consumer Interceptor — 레코드가 오가는 길목에 코드를 끼워 넣는다 Apache Kafka KIP-42: Add Producer and Consumer Interceptors 76 TopologyTestDriver — 실제 브로커 없이 토폴로지를 단위 테스트한다 Apache Kafka 공식문서 Testing a Streams Application

77 sendOffsetsToTransaction — 오프셋 커밋을 트랜잭션 안에 직접 끼워 넣는다 Apache Kafka KIP-98: Exactly Once Delivery and Transactional Messaging 78 position() vs committed() — '어디까지 읽었나'와 '어디까지 확정됐나'는 다른 값이다 Apache Kafka 공식 Javadoc KafkaConsumer

79 트랜잭션 컨트롤 레코드 — 로그 안에 새겨지는 COMMIT/ABORT 마커 Kafka Transactions Deep Dive 기술 블로그 80 onPartitionsLost — '정상적으로 반납'과 '갑자기 빼앗김'은 다르다 KIP-429: Kafka Consumer Incremental Rebalance Protocol

81 Fetch Session(KIP-227) — 매번 전체 파티션 목록을 다시 안 보낸다 Apache Kafka KIP-227: Introduce Incremental FetchRequests to Increase Partition Scalability 82 2PC 참여(KIP-939) — Kafka를 외부 트랜잭션의 참가자로 만든다 Apache Kafka KIP-939: Support Participation in 2PC

83 num.replica.fetchers — 복제 전용 스레드 풀의 크기 Apache Kafka 공식문서 Broker Configs 84 state.dir — 로컬 체크포인트 파일이 재시작을 빠르게 만든다 Kafka Streams RocksDB 관련 기술 블로그 종합