Databricks, Unity Catalog의 관리형 테이블 외부 접근 및 Credential Vending 정식 출시

섹션별 상세

01

관리형 Delta 테이블 외부 접근 베타: Apache Spark, Flink, DuckDB 등 외부 엔진이 Unity Catalog 관리형 테이블을 직접 생성하고 읽기/쓰기 작업을 수행한다. Delta Lake의 카탈로그 커밋을 통해 데이터 무결성과 감사 기능을 보장한다.

Credential Vending을 통한 외부 쿼리 엔진과 Unity Catalog 간의 데이터 접근 흐름도 — Diagram사용자가 외부 쿼리 엔진을 통해 데이터를 요청하면 Unity Catalog가 메타데이터와 임시 자격 증명을 발급하여 클라우드 스토리지에 안전하게 접근하는 과정을 보여준다. 이 구조는 중앙 집중식 거버넌스를 유지하면서도 외부 엔진의 활용성을 극대화하는 핵심 아키텍처를 설명한다.

02

Delta Kernel 활용: Delta Kernel 라이브러리가 저수준 프로토콜 복잡성을 추상화하여, 외부 엔진 개발자가 별도의 구현 없이 Unity Catalog와 쉽게 통합할 수 있도록 지원한다.

03

Credential Vending 정식 출시: M2M OAuth 지원과 자동 토큰 갱신 기능을 포함하여 엔터프라이즈 규모의 보안 요구사항을 충족한다. 장기 실행 파이프라인에서도 토큰 만료 없이 안정적인 작업이 가능하다.

04

볼륨 데이터 접근 확장: 비정형 데이터(이미지, PDF, 비디오)가 저장된 볼륨에 대해서도 임시 자격 증명을 발급하는 기능이 퍼블릭 프리뷰로 제공된다.

용어 해설

자격 증명 발급(Credential Vending): — 외부 엔진이 데이터에 접근할 때 필요한 임시 자격 증명을 Unity Catalog가 동적으로 발급하는 보안 메커니즘이다. 정적 권한 대신 짧은 수명의 스코프가 지정된 토큰을 사용하여 보안을 강화한다.
관리형 테이블(Managed Table): — Unity Catalog가 데이터 파일의 위치와 메타데이터를 완전히 제어하는 테이블이다. 데이터 레이아웃 최적화와 자동화된 유지보수 기능을 제공하여 성능과 효율성을 높인다.
카탈로그 커밋(Catalog Commits): — 카탈로그를 통해 커밋을 조정하는 오픈 표준 기술이다. 안전한 동시 쓰기, 감사 추적, 다중 문장 트랜잭션을 가능하게 하여 데이터 일관성을 보장한다.
델타 커널(Delta Kernel): — Delta 테이블을 읽고 쓰기 위한 저수준 프로토콜 세부 사항을 추상화한 Java 및 Rust 라이브러리이다. 커넥터 개발자가 복잡한 구현 없이 Unity Catalog와 쉽게 통합할 수 있도록 돕는다.

기술

Unity Catalog
Delta Lake
Apache Spark
Flink
DuckDB
Delta Kernel

활용 사례

데이터 거버넌스 통합
외부 엔진을 활용한 데이터 분석
보안 파이프라인 구축

언급된 리소스

문서Manage Databricks previews