클러스터 종류와 DBU 과금 모델
60 Databricks Interview Questions Senior DEs Actually Ask (2026) — 미상 (DataVidhya 블로그, 2026) Core Architecture & Fundamentals, Q5-Q6 (pp.3-4)
이 모듈을 다 읽으면
- All-Purpose Cluster와 Job Cluster의 용도 차이와 생명주기 차이를 설명할 수 있다
- DBU(Databricks Unit)가 무엇을 측정하는 단위인지, 무엇에 따라 요율이 달라지는지 설명할 수 있다
- 왜 프로덕션 잡에는 Job Cluster를 쓰는 것이 비용 관점에서 유리한지 판단할 수 있다
Databricks 클러스터는 용도에 따라 상시 기동되는 All-Purpose Cluster와, 잡 실행 시에만 자동 생성·종료되는 Job Cluster로 나뉜다. 두 클러스터 모두 처리 능력과 비용을 DBU(Databricks Unit)라는 단위로 측정하며, DBU 요율은 VM 유형(CPU/GPU, 메모리 최적화/컴퓨트 최적화)과 티어(Standard/Premium), 컴퓨트 종류(Interactive/Jobs)에 따라 달라진다.
All-Purpose Cluster vs Job Cluster
All-Purpose Cluster는 대화형 개발, 탐색적 데이터 분석, 협업 노트북 작업을 위해 설계된다. 사용자가 수동으로 시작하고 종료하며, 여러 사용자를 위해 항상 가동 가능한 상태를 유지하기 때문에 DBU 비용이 더 높다.
Job Cluster는 예약된 백그라운드 작업('Job')을 실행하기 위해 특별히 생성된다. Databricks는 잡이 시작될 때 클러스터를 자동으로 만들고, 잡이 끝나면 즉시 종료한다. 비대화형 워크로드에 특화되어 있어 목적에 맞게 구성되므로, 원문은 Job Cluster가 흔히 50% 이상 더 저렴하다고 설명한다. — 참고: 이 구체적인 절감률은 클라우드·리전·워크로드 구성에 따라 달라지는 대략적인 수치이며, 정확한 절감폭은 항상 실제 DBU 요율표로 확인해야 한다. 다만 '잡 전용 컴퓨트의 DBU 요율이 상시 대화형 컴퓨트보다 낮게 책정된다'는 방향성 자체는 Databricks의 실제 가격 정책과 일치한다.
핵심 포인트
- All-Purpose Cluster: 대화형 개발·탐색·협업용, 수동 시작/종료, 상대적으로 높은 DBU 비용
- Job Cluster: 예약된 작업 실행 전용, 잡 시작 시 자동 생성·종료 시 자동 종료, 더 낮은 DBU 요율
- 프로덕션 파이프라인은 격리된 환경과 비용 절감을 위해 Job Cluster(또는 'New Job Cluster')를 사용하는 것이 원칙이다
DBU(Databricks Unit)란 무엇인가
DBU는 Databricks에서 처리 능력과 비용을 측정하는 기본 단위다. 1 DBU는 시간당 표준화된 처리 능력 단위를 나타내며, 사용하는 가상 머신의 유형(CPU vs GPU, 메모리 최적화 vs 컴퓨트 최적화)에 따라 소비량이 달라진다. DBU 요율은 티어(Standard vs Premium)와 컴퓨트 종류(Interactive vs Jobs)에 따라서도 달라지며, 이를 통해 워크로드 특성에 맞춘 종량제(pay-as-you-go) 소비 모델을 구현한다.
핵심 포인트
- DBU는 시간당 처리 능력을 표준화한 단위로, 실제 비용은 'DBU 수 × DBU 요율'로 결정된다
- DBU 요율은 VM 유형, 워크스페이스 티어(Standard/Premium), 컴퓨트 종류(Interactive/Jobs)에 따라 달라진다
- 이 구조 덕분에 워크로드 특성에 맞춰 비용을 최적화하는 종량제 모델이 가능하다