Databricks, Scala 및 Java를 위한 서버리스 JAR 및 Databricks Connect 지원 발표

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Databricks는 Scala 및 Java로 작성된 Spark 작업을 클러스터 관리 없이 실행할 수 있는 서버리스 JAR 기능을 도입했다. 이 기능은 Spark 4와 Spark Connect 아키텍처를 기반으로 하며, 수 분이 걸리던 클러스터 시작 시간을 수 초로 단축하고 사용한 만큼만 비용을 지불하는 탄력적인 과금 모델을 제공한다. 개발자는 Databricks Connect를 통해 IntelliJ나 Cursor 같은 IDE에서 실시간 데이터로 코드를 테스트하고 디버깅할 수 있어 개발 생산성이 크게 향상된다.

배경

Apache Spark 4, Scala 2.13, Databricks Unity Catalog 사용 권한

대상 독자

Spark 기반 데이터 엔지니어 및 Scala/Java 개발자

의미 / 영향

Spark 개발 워크플로우가 클러스터 중심에서 서버리스 중심으로 이동하며, 개발 생산성과 비용 효율성이 동시에 개선될 것이다. 특히 Spark 4와 Spark Connect의 확산이 가속화될 것으로 보인다.

섹션별 상세

서버리스 JAR는 Scala와 Java 개발자가 인프라 관리 부담 없이 프로덕션급 Spark 파이프라인을 구축할 수 있게 한다. 클러스터 프로비저닝이나 용량 계획이 필요 없으며, Databricks가 인프라 확장 및 성능 최적화를 자동으로 처리하여 개발자가 코드 작성에만 집중할 수 있는 환경을 제공한다.

Spark 4(Scala 2.13) 및 Spark Connect 아키텍처를 채택하여 사용자 코드와 엔진을 분리했다. 이를 통해 특정 런타임 버전에 종속되지 않는 '버전리스(Versionless)' 업그레이드가 가능해졌으며, 종속성 충돌 문제를 해결하고 Lakeguard를 통한 세밀한 접근 제어를 지원한다.

Databricks Connect를 사용하면 IntelliJ나 Cursor 같은 IDE에서 서버리스 컴퓨팅에 연결하여 대화형으로 코드를 작성하고 디버깅할 수 있다. 로컬 환경에서 실제 운영 데이터와 유사한 환경을 대상으로 즉각적인 테스트가 가능하여 개발 사이클이 획기적으로 단축된다.

서버리스 JAR 배포를 위해서는 Spark 4 및 Spark Connect용으로 JAR를 컴파일한 후 Unity Catalog 볼륨이나 워크스페이스 폴더에 업로드해야 한다. 이후 Lakeflow Jobs에서 서버리스 컴퓨팅을 선택하여 작업을 생성하면 즉시 실행 가능한 파이프라인이 완성된다.

이미지 분석

Chart
Databricks가 클라우드 DBMS 시장에서 '리더(Leader)' 그룹에 위치하고 있음을 보여준다. 이는 해당 기술 블로그에서 소개하는 서버리스 기술이 시장 선도적인 위치에서 제공되고 있음을 시사한다.
2025년 가트너 매직 쿼드런트 클라우드 데이터베이스 관리 시스템 부문 차트이다.

실무 Takeaway

Spark 클러스터 시작 대기 시간을 수 분에서 수 초로 단축하여 데이터 파이프라인의 반복 실행 및 반복 개발 속도를 높일 수 있다.
Spark Connect 아키텍처를 활용해 로컬 IDE 환경과 서버리스 컴퓨팅을 연결함으로써 개발과 운영 환경의 격차를 줄이고 생산성을 개선할 수 있다.
고정된 클러스터 비용 대신 실제 작업 수행 시간에 대해서만 비용을 지불하여 유휴 자원 낭비를 최소화하고 비용 효율성을 극대화할 수 있다.

언급된 리소스

튜토리얼Run Scala code on Serverless compute