Databricks의 에이전트·데이터 운영체제 비전 — Omnigent, LTAP, Lakebase

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Databricks 창업자들이 Data + AI Summit에서 제시한 대화는 에이전트 시대를 위한 데이터·AI 운영체제 비전에 관한 것이다. 핵심은 에이전트들을 통합·제어·공유하는 상위 계층과, 에이전트가 동작할 수 있는 일관된 데이터 기반을 마련하는 것이다. 이를 통해 에이전트의 포터빌리티·세션 관리·보안·비용 통제를 확보하고, 데이터가 에이전트 행동의 필수 컨텍스트가 된다는 전제를 실무에 반영하려는 의도가 드러난다.

작동 메커니즘은 두 축으로 설명된다. 첫째, Omnigent은 Claude Code·Codex·Cursor·Pi·커스텀 에이전트와 내부 툴 같은 다양한 엔진을 공통 API와 메타 하니스로 묶어 입력(여러 에이전트 엔진)→처리(공통 세션·정책·공유)→출력(재사용 가능한 에이전트 세션과 제어 가능한 배포)의 흐름을 만든다. 둘째, LTAP와 Lakebase 쪽 접근은 스토리지 계층을 통합해 HTAP의 이점을 실용적으로 얻는 방식으로, CDC의 운영적 취약성을 지적하며 스토리지 통일을 통해 트랜잭션·분석 워크로드를 동시에 다루려는 설계 선택을 내세운다.

그 결과 Databricks는 기존의 데이터·분석 스택을 넘어서 데이터가 잘 정리된 곳에서 에이전트가 직접 작업을 수행하는 구조로 전환될 것이라고 주장한다. 이는 에이전트 거버넌스·실시간 데이터 처리·보안·지출 제어 같은 운영적 과제를 우선 해결해야 한다는 현실적 제약을 동반하며, 다양한 엔진을 연결하는 표준화 계층과 저장소 설계의 선택이 향후 플랫폼 경쟁의 핵심이 될 가능성이 크다.

섹션별 상세

에이전트 운영에서 포팅·협업·보안·비용 관리는 핵심 제약으로 남아 있으며, Omnigent은 여러 코딩·엔터프라이즈 에이전트를 공통 API와 메타 하니스로 묶어 입력(다양한 에이전트 엔진)→처리(공통 세션·접근·정책·공유 메커니즘)→출력(재사용 가능한 에이전트 세션과 제어 가능한 배포)을 구현한다; 기사에서는 Omnigent을 'open-source meta-harness'로 소개하고 Claude Code, Codex, Cursor, Pi, 커스텀 에이전트와 내부 툴을 연결한다고 명시되어 있어 포터빌리티와 비용·보안 통제가 가능한 에이전트 플랫폼 구축의 근거가 된다.

데이터베이스와 스토리지 계층은 에이전트의 실행 맥락을 제공하는 핵심 인프라로, Databricks는 CDC의 취약성을 지적하고 HTAP(트랜잭션·분석 통합)는 이상적인 목표지만 현실적으로는 스토리지 계층 통합을 통해 이득을 얻는 것이 실용적이라고 보고 LTAP를 제안한다; LTAP는 스토리지를 통일해 여러 쿼리 엔진을 허용하는 방식으로 입력(다양한 쿼리·워크로드)→처리(공유 스토리지 위의 일관된 데이터 표현)→출력(동일 데이터로 낮은 레이턴시 분석·트랜잭션 수행)을 목표로 하며 관련 보도자료와 제품 페이지가 근거로 제시된다.

Databricks는 Lakehouse 출발점에서 한 단계 더 나아가 데이터와 에이전트를 함께 운영하는 '데이터·AI 운영체제' 비전을 추구하며, 이 과정에서 빠른 프로토타이핑과 대규모 인프라 운영 역량을 바탕으로 Mosaic 모델 전략, Genie 에이전트, AI Runtime, RL 기반 파인튜닝 등 에코시스템을 결합해 입력(기업 데이터)→처리(에이전트·모델·거버넌스 연동)→출력(기존 소프트웨어의 재작성과 자동화된 작업 수행)을 기대한다고 밝혀 데이터가 에이전트 작동의 필수 컨텍스트임을 근거로 들었다.

실무 Takeaway

에이전트 운영을 위해서는 각 에이전트 엔진을 감싸는 공통 하니스(Omnigent와 같은)가 필요하며, 이를 통해 세션 이력·권한·지출 통제를 일관되게 구현해 포터빌리티와 협업을 확보할 수 있다.
HTAP 자체의 완전한 구현보다 저장소 계층 통합(LTAP 방식)을 통해 트랜잭션·분석 워크로드의 공통 이점을 얻는 전략이 실용적이며, 여러 쿼리 엔진을 허용하는 설계가 비용·유지보수 측면에서 유리하다.
데이터를 에이전트의 작동 컨텍스트로 삼는 아키텍처는 기존 소프트웨어와 데이터 파이프라인을 재편성하게 하므로, 데이터 거버넌스·실시간 변경 처리(CDC 대비)·보안 제어를 우선적으로 개선해야 한다.