Salesforce Data 360, File Federation을 통한 Zero Copy 아키텍처 확장

섹션별 상세

Query Federation은 원격 데이터 조회 시 양측 컴퓨팅 자원을 모두 소모하여 대규모 AI 워크로드에서 병목 현상을 유발했다.

File Federation은 Apache Iceberg를 도입하여 단일 컴퓨팅 모델로 전환, 스토리지 계층에 직접 접근함으로써 처리 효율을 극대화했다.

이 아키텍처 전환을 통해 월간 처리량이 1조 행 미만에서 120조 행으로 증가하며 petabyte 규모의 AI 데이터 처리를 지원한다.

근거

Zero Copy workloads processed less than 1 trillion rows per month two years ago, and now reach 120 trillion rows monthly. — Operational challenges section

데이터 이동 없이 임시 자격 증명을 활용한 카탈로그 계층 접근 방식을 채택하여 보안과 거버넌스를 유지한다.

제로 카피(Zero Copy): — 데이터를 물리적으로 이동하거나 복제하지 않고 원본 위치에서 직접 접근하는 아키텍처 패턴. 데이터 이동 비용과 지연 시간을 줄이고 거버넌스를 유지하는 데 필수적임.
쿼리 페더레이션(Query Federation): — 여러 분산 데이터 소스를 하나의 가상 계층으로 통합하여 단일 쿼리로 조회하는 기술. 데이터 이동 없이 실시간 분석을 가능하게 함.
파일 페더레이션(File Federation): — 공통 스토리지 포맷을 활용하여 컴퓨팅 엔진이 원격 스토리지에 직접 접근하는 방식. 쿼리 실행 엔진을 거치지 않아 성능과 확장성이 뛰어남.
아파치 아이스버그(Apache Iceberg): — 대규모 데이터셋을 위한 오픈 소스 테이블 포맷. 데이터의 일관성과 성능을 보장하며, 다양한 컴퓨팅 엔진과 스토리지 간의 상호운용성을 제공함.