← 학습 카테고리

Learn

Databricks

14개 모듈 · 현재 8번째

Databricks 모듈 8/14 databricks-learn-08

Unity Catalog: 거버넌스 계층 구조

60 Databricks Interview Questions Senior DEs Actually Ask (2026) — 미상 (DataVidhya 블로그, 2026) Core Architecture & Fundamentals, Q10 (pp.4-5) 및 beginner guide 'Unity Catalog and Schema in Databricks' (pp.11-12) + FAQ 'What is Unity Catalog in Databricks?' (p.19)

이 모듈을 다 읽으면

  • Unity Catalog가 레거시 Hive Metastore와 근본적으로 다른 점을 설명할 수 있다
  • Unity Catalog → Catalog → Schema → Table로 이어지는 4단계 계층 구조를 순서대로 설명할 수 있다
  • Unity Catalog가 어카운트 레벨에서 워크스페이스를 가로질러 거버넌스를 통합하는 이유를 판단할 수 있다

Unity Catalog는 Databricks Lakehouse 전반의 데이터·AI 자산에 대한 통합 거버넌스 솔루션으로, 접근 제어 목록(ACL), 데이터 리니지, 감사(auditing)를 여러 워크스페이스에 걸쳐 한곳에서 관리한다. 레거시 Hive Metastore와 달리 행·컬럼 레벨까지 내려가는 세밀한 권한 부여가 가능하며, 'Unity Catalog(계정) → Catalog(부서) → Schema(방) → Table(파일)'이라는 4단계 계층으로 데이터를 조직한다.

Unity Catalog와 레거시 Hive Metastore의 차이

Unity Catalog는 Databricks Lakehouse의 모든 데이터·AI 자산에 대해 접근 제어 목록(ACL), 데이터 리니지, 여러 워크스페이스에 걸친 감사(auditing)를 관리하는 중앙 집중식 장소를 제공한다. 레거시 Hive Metastore와 달리 Unity Catalog는 행(row)과 컬럼(column) 레벨까지 내려가는 세밀한 권한 부여를 지원하며, 조직 전체에서 데이터를 검색하고 관리하는 일관된 인터페이스를 제공한다. Unity Catalog는 워크스페이스별로 따로 관리되지 않고 어카운트(계정) 레벨에서 통합 관리되므로, 여러 팀이 여러 워크스페이스를 쓰는 조직에서도 거버넌스 정책을 한곳에서 일관되게 적용할 수 있다.

핵심 포인트

  • Unity Catalog는 ACL, 데이터 리니지, 감사 로그를 여러 워크스페이스에 걸쳐 중앙에서 관리한다
  • 레거시 Hive Metastore와 달리 행·컬럼 레벨까지 세밀한 권한 부여를 지원한다
  • 워크스페이스별이 아니라 어카운트 레벨에서 관리되어 멀티 워크스페이스 조직의 거버넌스를 통합한다

계층 구조를 기억하는 방법

beginner guide는 Databricks를 하나의 사무용 건물에 비유해 계층 구조를 설명한다. Unity Catalog는 건물의 보안 관리자(security manager)로, 누가 어떤 방에 들어갈 수 있는지 통제하는 중앙 거버넌스·보안 계층이다. Catalog는 데이터를 조직하는 최상위 컨테이너로, 회사 안의 한 부서에 해당한다. Schema는 관련된 테이블들을 묶는 단위로, 부서 안의 한 방에 해당한다. Table은 그 방 안에 보관된 실제 파일이다.

헷갈릴 때는 이 대응 관계를 떠올리면 된다: 건물 → 부서 → 방 → 파일이 곧 Unity Catalog → Catalog → Schema → Table에 대응한다. 실제 테이블을 가리킬 때 흔히 쓰는 3단계 이름(three-level namespace) `catalog.schema.table` 표기가 바로 이 계층을 그대로 반영한 것이다.

핵심 포인트

  • 계층 구조는 'Unity Catalog(건물) → Catalog(부서) → Schema(방) → Table(파일)'로 기억하면 된다
  • 테이블을 가리키는 3단계 이름 `catalog.schema.table`이 이 계층을 그대로 반영한다
  • Unity Catalog는 이 계층 전체에 걸친 접근 제어·리니지·검색을 어카운트 레벨에서 제공하는 상위 거버넌스 계층이다