Iceberg

Parquet은 파일 포맷일 뿐이다

Parquet은 데이터를 컬럼 지향(columnar)으로 디스크에 저장하는 방식을 정의하는 파일 포맷이다. 압축, 인코딩, 컬럼 프루닝(필요한 컬럼만 읽기)을 담당하지만, 그 자체로는 트랜잭션이라는 개념이 없다. 즉 Parquet 파일 여러 개가 한 폴더에 놓여 있어도, 그 폴더가 지금 이 순간 '테이블의 정확한 상태'를 나타낸다는 보장이 없다. 두 프로세스가 동시에 파일을 추가하거나, 쓰기 도중 장애가 나면 어떤 파일이 유효한 데이터이고 어떤 파일이 반쯤 쓰인 쓰레기인지 구분할 방법이 파일 시스템 레벨에는 없다.

이것이 원문이 강조하는 핵심 비유다: Parquet은 벽돌이고, 테이블 포맷은 그 벽돌들을 하나의 건물로 만드는 설계도다. 벽돌만 쌓아 놓으면 그냥 폴더 안의 파일 더미이고, 쓰기 작업 중 무엇이 잘못되지 않기를 기도하는 수밖에 없다.

테이블 포맷이 추가하는 4가지 핵심 기능

Iceberg나 Delta Lake 같은 테이블 포맷은 Parquet(혹은 ORC, Avro) 파일 위에 얇은 메타데이터 계층을 얹어 다음 4가지를 제공한다.

첫째, ACID 트랜잭션 — 동시에 여러 쓰기가 들어와도 데이터가 깨지지 않도록 원자성을 보장한다. 둘째, 타임트래블 — 과거 특정 시점의 테이블 상태를 그대로 조회할 수 있다. 셋째, 스키마 진화 — 컬럼을 추가해도 이미 만들어진 다운스트림 소비자(리포트, 다른 파이프라인)가 깨지지 않는다. 넷째, 파티션 관리 — 쿼리가 필요한 데이터만 읽도록 도와준다.

이 4가지가 정확히 어떤 메커니즘으로 구현되는지는 포맷마다 다르다. 뒤따르는 모듈들에서 Iceberg가 이 4가지를 각각 어떤 자료구조와 알고리즘으로 실현하는지 깊이 다룬다.

이 모듈에서 다루는 범위

원문은 Delta Lake와 Apache Iceberg를 대등하게 비교하는 블로그다. 그러나 이 학습 프로그램의 기술 카테고리는 Iceberg 하나뿐이며, Delta Lake는 스코프 밖이다. 따라서 이어지는 모듈들은 Iceberg 자체의 아키텍처·기능·생태계를 깊이 파고드는 데 집중하고, Delta Lake는 '왜 Iceberg가 이런 설계를 택했는가', '같은 문제를 다른 방식으로 풀면 어떤 트레이드오프가 생기는가'를 이해하기 위한 대조군으로만 짧게 언급한다. Delta Lake 자체의 세부 동작(트랜잭션 로그 포맷, OPTIMIZE 내부 구현 등)을 암기할 필요는 없다.