핵심 요약
신규 커넥터와 AI 어시스턴트의 확장성, 그리고 파운데이션 모델 API의 통합을 통해 데이터 수집부터 AI 에이전트 구축까지의 전 과정을 단일 플랫폼에서 효율적으로 관리할 수 있다.
배경
Databricks 플랫폼의 최근 60일간 주요 업데이트 사항을 공유하고, 이를 실제 아키텍처에 어떻게 적용할 수 있는지 논의하는 영상이다.
대상 독자
데이터 엔지니어, ML 엔지니어, 솔루션 아키텍트 및 Databricks 사용자
의미 / 영향
데이터 엔지니어링과 AI 모델 서빙의 경계가 더욱 허물어지며, 단일 플랫폼 내에서 데이터 수집부터 RAG 시스템 구축, 모델 모니터링까지 전체 생명주기를 관리하는 것이 표준이 될 것이다. 특히 서버리스 기반의 자동 확장 기능과 오픈 포맷 호환성 강화는 인프라 관리 부담을 줄이고 비즈니스 로직에 집중할 수 있는 환경을 제공한다.
챕터별 상세
신규 데이터 커넥터 및 Jira 통합
Databricks Assistant 및 에이전트 스킬 확장
Spark Declarative Pipelines의 foreachBatch 지원
def df_refund_road_update():
df = spark.read_table("caspersdev.recommender.refund_recommendations")
# ... (중략)
@dp.foreach_batch_sink(target="merge_into_sink")
def feb_batch_update(batch_df, batch_id):
batch_df.createOrReplaceTempView("batch_df_view")
df.sparkSession.sql("""
MERGE INTO caspersdev.recommender.df_refund_rcmd_update AS T
USING batch_df_view AS S
ON T.order_id = S.order_id
WHEN MATCHED THEN UPDATE SET T.agent_response = S.agent_response
""")Spark Declarative Pipelines(SDP)에서 foreachBatch를 사용하여 커스텀 MERGE 로직을 구현하는 예시
파운데이션 모델 API 및 Claude/GPT 통합
Delta Sharing과 Iceberg 호환성 강화
Knowledge Assistant GA 및 Lakebase 자동 확장
실무 Takeaway
- Jira 및 Salesforce 신규 커넥터를 활용해 외부 비즈니스 데이터를 Lakehouse로 통합하고 AI 분석 파이프라인을 즉시 구축할 수 있다.
- Databricks Assistant의 'Skills' 기능을 사용해 팀 전용 개발 가이드나 운영 매뉴얼을 학습시켜 개발 생산성을 높여야 한다.
- Foundation Model API와 인퍼런스 테이블을 결합해 LLM 애플리케이션의 비용과 성능을 데이터 기반으로 투명하게 관리할 수 있다.
- Delta Sharing의 Iceberg 지원을 통해 데이터를 복제하지 않고도 타 플랫폼 사용자들과 실시간으로 협업하는 아키텍처를 설계할 수 있다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.