Databricks의 3-Plane 아키텍처 (Control / Compute / Storage)
60 Databricks Interview Questions Senior DEs Actually Ask (2026) — 미상 (DataVidhya 블로그, 2026) Core Architecture & Fundamentals, Q3 (pp.2-3)
이 모듈을 다 읽으면
- Control Plane, Compute Plane, Storage Plane 각각의 책임 범위를 구분해 설명할 수 있다
- Compute Plane이 고객의 클라우드 계정(VPC/VNet) 안에 위치하는 이유와 그로 인한 보안적 함의를 설명할 수 있다
- 고전적 Compute Plane과 최신 Serverless Compute의 차이를 판단할 수 있다
Databricks 아키텍처는 책임 영역이 분리된 세 개의 '평면(Plane)'으로 구성된다. Control Plane은 Databricks의 클라우드 계정에서 UI·노트북 관리·잡 스케줄링 로직을 담당하고, Compute Plane(Data Plane)은 실제 데이터 처리가 일어나는 Spark 클러스터로 고객 자신의 VPC/VNet 안에 위치하며, Storage Plane은 Parquet·Delta 파일이 실제로 저장되는 클라우드 오브젝트 스토리지다. 이 분리 덕분에 Databricks는 별도 승인 없이는 고객 데이터에 직접 접근할 수 없다.
세 평면의 책임 분리
Control Plane은 Databricks의 클라우드 계정에서 호스팅되며, 웹 애플리케이션 UI, 노트북 관리, 워크스페이스 설정, 잡 스케줄링 로직을 처리한다. 워크스페이스 객체에 대한 백엔드 메타데이터도 여기서 관리한다.
Compute Plane(Data Plane)은 실제 데이터 처리, 즉 Spark 클러스터가 동작하는 곳으로 고객 자신의 클라우드 계정(VPC 또는 VNet) 안에 위치한다. 이 분리 덕분에 Databricks는 별도로 승인되지 않는 한 고객 데이터에 직접 접근할 수 없다.
Storage Plane은 실제 데이터 파일(Parquet, CSV, Delta)이 저장되는 곳으로, 보통 AWS S3, Azure Data Lake Storage Gen2, Google Cloud Storage 같은 클라우드 오브젝트 스토리지다.
핵심 포인트
- Control Plane: Databricks 클라우드 계정에서 UI·노트북 관리·잡 스케줄링을 담당한다
- Compute Plane(Data Plane): 실제 Spark 처리가 일어나며 고객의 VPC/VNet 안에 위치한다
- Storage Plane: 클라우드 오브젝트 스토리지(S3/ADLS Gen2/GCS)에 실제 데이터 파일이 저장된다
- Compute Plane이 고객 계정 안에 있다는 분리 구조 덕분에 Databricks는 승인 없이 고객 데이터에 접근할 수 없다
추가 보완 — Serverless Compute Plane
원문은 Compute Plane이 항상 '고객 자신의 클라우드 계정' 안에 있다고 설명하는데, 이는 전통적인 클래식 클러스터 기준으로는 맞다. 다만 최근 몇 년간 Databricks가 확장해 온 서버리스 컴퓨트(서버리스 SQL 웨어하우스, 서버리스 잡 등)는 이 원칙의 예외다 — 정정: 서버리스 워크로드의 경우 컴퓨트 자체가 Databricks가 관리하는 별도의 서버리스 컴퓨트 플레인에서 실행되며, 고객의 VPC 안에 클러스터가 뜨지 않는다. 즉 2026년 현재는 '컴퓨트 플레인 = 항상 고객 VPC'라는 도식이 클래식 컴퓨트에만 성립하고, 서버리스를 선택하면 컴퓨트 실행 위치 자체가 달라진다는 점을 함께 이해해야 한다.
핵심 포인트
- 클래식 컴퓨트(All-Purpose/Job 클러스터)는 고객의 VPC/VNet 안에서 실행된다
- 서버리스 컴퓨트(서버리스 SQL 웨어하우스, 서버리스 잡 등)는 Databricks가 관리하는 서버리스 컴퓨트 플레인에서 실행되어, '컴퓨트는 항상 고객 계정 안'이라는 원칙의 예외다 — 정정