Databricks 서버리스 컴퓨팅: Notebook, Lakeflow Jobs, Spark Declarative Pipelines 혁신

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

데이터 엔지니어링 인프라 관리의 복잡성은 AI 도입의 주요 병목 현상이다. Databricks는 Notebook, Lakeflow Jobs, Spark Declarative Pipelines를 위한 서버리스 컴퓨팅을 통해 인프라 설정과 Spark 업그레이드 자동화를 구현했다. 사용자는 성능 최적화 모드와 비용 효율적인 표준 모드 중 선택할 수 있으며 지난 1년간 성능 80% 향상 및 비용 70% 절감의 성과를 거두었다. GPU 및 SparkML 지원이 추가되어 머신러닝 워크로드까지 서버리스 환경에서 통합 관리가 가능해졌다.

배경

Databricks 플랫폼 기초 지식, Apache Spark 프레임워크 이해, 클라우드 컴퓨팅 기본 개념

대상 독자

데이터 엔지니어 및 MLOps 담당자

의미 / 영향

서버리스 컴퓨팅의 확산은 데이터 팀이 인프라 운영 부담에서 벗어나 데이터 분석과 모델 개발 본연의 업무에 집중하게 만든다. 특히 성능과 비용의 트레이드오프를 사용자가 직접 선택할 수 있게 함으로써 클라우드 자원 활용의 유연성이 극대화될 전망이다.

섹션별 상세

서버리스 컴퓨팅은 네트워크 설정, 보안 경화, 인프라 수명 주기 관리 및 런타임 업그레이드와 같은 기초적인 운영 작업을 자동화한다. 이를 통해 데이터 엔지니어링 팀은 인프라 관리 대신 비즈니스 가치를 창출하는 데이터 제품 구축에 더 많은 시간을 할애할 수 있다.

사용자는 워크로드의 목적에 따라 성능 최적화와 표준 모드 중 하나를 선택할 수 있다. 성능 최적화 모드는 수 초 내에 시작되어 기존 클러스터보다 약 2배 빠르게 실행되며 표준 모드는 시작 대기 시간이 4~6분 발생하지만 비용을 최대 70%까지 절감한다.

Job details UI에서 Performance optimized 토글을 통해 성능 모드를 전환하는 방법을 보여준다. — Screenshot사용자가 복잡한 설정 없이 간단한 스위치 조작만으로 워크로드 최적화 목표를 변경할 수 있음을 시각적으로 확인시켜 준다.

Databricks 서버리스의 성능 최적화 모드와 표준 모드를 타사 솔루션과 비교한 벤치마크 차트이다. — Chart성능 최적화 모드가 타사 대비 3.8배 빠른 실행 속도를 기록했음을 수치로 증명하여 기술적 우위를 보여준다.

ETL 작업의 총 소유 비용(TCO)을 비교한 막대 그래프이다. — ChartDatabricks의 표준 모드가 타사 솔루션보다 3.4배 더 저렴한 비용으로 작업을 수행할 수 있음을 나타내어 경제성을 강조한다.

버전리스 아키텍처는 수동으로 Databricks Runtime(DBR) 버전을 업그레이드할 필요를 없앤다. 지난 1년간 45억 개 이상의 워크로드에서 99.998%의 성공률로 25회의 업그레이드를 수행했으며 문제 발생 시 자동으로 이전 안정 버전으로 롤백하여 운영 연속성을 보장한다.

지능형 환경 캐싱 기술은 사용자가 정의한 라이브러리 환경을 분석하고 스냅샷으로 저장한다. 이후 실행 시에는 다운로드나 설치 과정 없이 캐시에서 환경을 즉시 로드하여 소규모 워크로드의 실행 속도를 평균 2배 향상시킨다.

서버리스 기능이 확장되어 Scala 작업, A10 및 H100 GPU 지원, SparkML 지원이 추가되었다. 이를 통해 단순 데이터 처리뿐만 아니라 머신러닝 및 생성형 AI 워크로드도 서버리스 환경에서 효율적으로 실행할 수 있다.

실무 Takeaway

비용 민감도가 높은 대규모 배치 작업에는 표준 모드를 적용하여 성능 최적화 모드 대비 최대 70%의 비용 절감 효과를 얻을 수 있다.
버전리스 아키텍처를 도입하면 수동 업그레이드 공수 없이도 최신 Spark 최적화와 보안 패치를 즉각적으로 워크로드에 반영할 수 있다.
A10 및 H100 GPU 지원을 활용하여 복잡한 인프라 설정 없이도 생성형 AI 및 딥러닝 모델의 학습과 추론을 서버리스 환경에서 수행할 수 있다.

언급된 리소스

문서Practitioner’s Guide to Serverless Compute

문서SDP Introduction

DemoSDP Demo