이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Salesforce Data 360은 AI 워크로드 확장을 위해 Zero Copy 아키텍처를 기존 Query Federation에서 File Federation으로 전환했다. Query Federation은 원격 데이터 조회 시 양측 컴퓨팅 자원을 모두 소모하여 대규모 AI 워크로드에서 병목 현상을 유발했다. File Federation은 Apache Iceberg를 도입하여 단일 컴퓨팅 모델로 전환하고 스토리지 계층에 직접 접근함으로써 처리 효율을 극대화했다. 이 전환을 통해 월간 처리량이 1조 행 미만에서 120조 행으로 증가하며 petabyte 규모의 AI 데이터 처리를 지원한다.
배경
분산 시스템 아키텍처, 데이터 웨어하우스 및 레이크하우스 개념, Apache Iceberg 기본 지식
대상 독자
데이터 엔지니어 및 AI 인프라 설계자
의미 / 영향
분산 데이터 환경에서 AI 워크로드를 확장하기 위해 데이터 이동을 최소화하는 아키텍처 전환이 필수적임을 보여준다. Apache Iceberg와 같은 표준화된 스토리지 포맷이 대규모 데이터 페더레이션의 핵심 기술로 자리 잡고 있다.
섹션별 상세
Query Federation은 원격 데이터 조회 시 양측 컴퓨팅 자원을 모두 소모하여 대규모 AI 워크로드에서 병목 현상을 유발했다.
File Federation은 Apache Iceberg를 도입하여 단일 컴퓨팅 모델로 전환, 스토리지 계층에 직접 접근함으로써 처리 효율을 극대화했다.
이 아키텍처 전환을 통해 월간 처리량이 1조 행 미만에서 120조 행으로 증가하며 petabyte 규모의 AI 데이터 처리를 지원한다.
근거
- Zero Copy workloads processed less than 1 trillion rows per month two years ago, and now reach 120 trillion rows monthly. — Operational challenges section
데이터 이동 없이 임시 자격 증명을 활용한 카탈로그 계층 접근 방식을 채택하여 보안과 거버넌스를 유지한다.
용어 해설
- Zero Copy
- — 데이터를 물리적으로 이동하거나 복제하지 않고 원본 위치에서 직접 접근하는 아키텍처 패턴. 데이터 이동 비용과 지연 시간을 줄이고 거버넌스를 유지하는 데 필수적임.
- Query Federation
- — 여러 분산 데이터 소스를 하나의 가상 계층으로 통합하여 단일 쿼리로 조회하는 기술. 데이터 이동 없이 실시간 분석을 가능하게 함.
- File Federation
- — 공통 스토리지 포맷을 활용하여 컴퓨팅 엔진이 원격 스토리지에 직접 접근하는 방식. 쿼리 실행 엔진을 거치지 않아 성능과 확장성이 뛰어남.
- Apache Iceberg
- — 대규모 데이터셋을 위한 오픈 소스 테이블 포맷. 데이터의 일관성과 성능을 보장하며, 다양한 컴퓨팅 엔진과 스토리지 간의 상호운용성을 제공함.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 09.수집 2026. 06. 09.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.