AWS Glue 외래 Parquet 테이블을 Databricks 관리형 Delta 테이블로 변환하는 방법

• •CREATE CONNECTION 명령으로 Hive Metastore 타입의 연결 생성
• •AWS 리전 및 리소스 식별자 지정을 통한 외부 소스 정의
• •데이터 이동 없는 메타데이터 페더레이션 구조 구축

Unity Catalog는 Databricks의 통합 거버넌스 레이어로, 외부 데이터 소스를 카탈로그 형태로 추상화하여 관리할 수 있게 한다.

• •AWS IAM Role과 External ID를 활용한 보안 인증 설정
• •Glue 메타스토어와 Databricks 간의 신뢰 관계 구축
• •카탈로그 탐색기를 통한 외부 데이터베이스 구조의 실시간 확인

IAM 역할과 외부 ID를 사용한 인증은 클라우드 환경에서 서비스 간 보안 연결을 설정하는 표준 방식이다.

• •Unity Catalog의 세분화된 접근 제어 기능을 통한 권한 부여
• •읽기 전용(Read-only) 상태의 페더레이션 테이블 접근 확인
• •데이터 복사 없이 외부 소스의 샘플 데이터를 즉시 조회

페더레이션 테이블은 원본 데이터를 이동하지 않고 외부 시스템의 데이터를 직접 쿼리하는 가상 테이블이다.

• •ALTER TABLE SET EXTERNAL 명령을 통한 테이블 속성 변경
• •CONVERT TO DELTA 명령어로 Parquet를 Delta Lake 포맷으로 전환
• •데이터 이동이나 재작성 없는 초고속 포맷 변환 수행

CONVERT TO DELTA는 기존 Parquet 파일을 유지하면서 Delta Lake의 트랜잭션 로그를 생성하는 효율적인 변환 방식이다.

• •관리형 Delta 테이블로의 최종 승격 및 스토리지 관리 이관
• •Liquid Clustering 기능을 통한 자동 데이터 레이아웃 최적화
• •예측 최적화 기능을 활용한 유지보수 자동화 및 성능 향상

관리형 테이블은 데이터의 생명주기와 물리적 저장을 Databricks가 관리하여 최상의 성능을 보장하는 형태이다.