챕터별 상세
Delta Sharing과 Iceberg 호환성 개요
Delta Sharing은 이제 Apache Iceberg REST Catalog API를 지원하여 Snowflake와 같은 Iceberg 호환 도구에 데이터를 직접 공유한다. 데이터 복제(Replication) 과정이 전혀 필요 없으며, Databricks에서 관리되는 데이터를 외부 클라이언트에서 실시간으로 읽을 수 있다. Snowflake, Trino, Flink, Spark 등 다양한 플랫폼이 이 프로토콜을 통해 데이터를 수신할 수 있는 구조이다.
Delta Sharing은 Databricks가 주도하는 오픈 소스 데이터 공유 프로토콜로, 수신자가 Databricks 사용자가 아니어도 데이터를 안전하게 공유할 수 있게 설계되었다.
Databricks에서 Uniform 활성화 테이블 생성
데이터 제공자는 Unity Catalog 내에서 Uniform(Universal Format)이 활성화된 테이블을 생성한다. SQL 문에서 'delta.universalFormat.enabledFormats' 속성을 'iceberg'로 설정하여 테이블을 정의했다. T1, T2 테이블과 T1을 기반으로 한 View V1을 생성하고 20개의 샘플 데이터를 삽입하여 공유 준비를 마쳤다.
Uniform은 Delta Lake 테이블을 재작성하지 않고도 Iceberg나 Hudi 포맷으로 읽을 수 있게 해주는 메타데이터 변환 기술이다.
Unity Catalog를 이용한 공유 설정
생성된 테이블과 뷰를 외부와 공유하기 위해 Delta Sharing 섹션에서 'Share' 객체를 생성했다. 'iceberg_demo_share'라는 이름의 공유 객체에 앞서 만든 테이블들을 자산으로 추가했다. 이후 데이터를 수신할 'Recipient'를 생성하고 해당 공유 객체에 대한 접근 권한을 부여하여 보안 설정을 완료했다.
Share는 공유할 데이터 자산의 묶음이며, Recipient는 해당 데이터를 수신할 외부 엔티티를 정의하는 논리적 개념이다.
Snowflake 클라이언트 연결 설정
데이터 수신자 측인 Snowflake에서 접근하기 위해 활성화 링크를 통해 자격 증명(Credential) 파일을 다운로드했다. Databricks UI에서 제공하는 'Generate SQL' 기능을 활용하여 Snowflake 전용 구성 스크립트를 생성했다. 이 스크립트에는 Catalog URL, Bearer Token 등 Snowflake가 Iceberg REST Catalog에 접속하는 데 필요한 모든 인증 정보가 포함되어 있다.
자격 증명 파일은 일회성 링크를 통해 제공되며, 외부 클라이언트가 Databricks의 데이터 엔드포인트에 인증하는 데 사용된다.
Snowflake에서 실시간 데이터 쿼리 실행
Snowflake 워크시트에서 생성된 SQL을 실행하여 'Catalog Integration'과 'Database'를 생성했다. Snowflake의 데이터 탐색기(Database Explorer)를 통해 Databricks에서 공유한 Schema와 테이블(T1, T2, V1)이 실시간으로 확인됐다. SQL 쿼리를 실행한 결과, Databricks에 저장된 데이터가 복제 과정 없이 Snowflake 환경에서 즉시 조회되었다.
Catalog Integration은 Snowflake가 외부 메타데이터 저장소와 통신하여 테이블 구조를 파악하게 하는 설정이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 17.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
