Databricks의 에이전트·데이터 운영체제 비전 — Omnigent, LTAP, Lakebase

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Databricks 창업자들이 Data + AI Summit에서 제시한 대화는 에이전트 시대를 위한 데이터·AI 운영체제 비전에 관한 것이다. 핵심은 에이전트들을 통합·제어·공유하는 상위 계층과, 에이전트가 동작할 수 있는 일관된 데이터 기반을 마련하는 것이다. 이를 통해 에이전트의 포터빌리티·세션 관리·보안·비용 통제를 확보하고, 데이터가 에이전트 행동의 필수 컨텍스트가 된다는 전제를 실무에 반영하려는 의도가 드러난다.

작동 메커니즘은 두 축으로 설명된다. 첫째, Omnigent은 Claude Code·Codex·Cursor·Pi·커스텀 에이전트와 내부 툴 같은 다양한 엔진을 공통 API와 메타 하니스로 묶어 입력(여러 에이전트 엔진)→처리(공통 세션·정책·공유)→출력(재사용 가능한 에이전트 세션과 제어 가능한 배포)의 흐름을 만든다. 둘째, LTAP와 Lakebase 쪽 접근은 스토리지 계층을 통합해 HTAP의 이점을 실용적으로 얻는 방식으로, CDC의 운영적 취약성을 지적하며 스토리지 통일을 통해 트랜잭션·분석 워크로드를 동시에 다루려는 설계 선택을 내세운다.

그 결과 Databricks는 기존의 데이터·분석 스택을 넘어서 데이터가 잘 정리된 곳에서 에이전트가 직접 작업을 수행하는 구조로 전환될 것이라고 주장한다. 이는 에이전트 거버넌스·실시간 데이터 처리·보안·지출 제어 같은 운영적 과제를 우선 해결해야 한다는 현실적 제약을 동반하며, 다양한 엔진을 연결하는 표준화 계층과 저장소 설계의 선택이 향후 플랫폼 경쟁의 핵심이 될 가능성이 크다.

섹션별 상세

에이전트 운영에서 포팅·협업·보안·비용 관리는 핵심 제약으로 남아 있으며, Omnigent은 여러 코딩·엔터프라이즈 에이전트를 공통 API와 메타 하니스로 묶어 입력(다양한 에이전트 엔진)→처리(공통 세션·접근·정책·공유 메커니즘)→출력(재사용 가능한 에이전트 세션과 제어 가능한 배포)을 구현한다; 기사에서는 Omnigent을 'open-source meta-harness'로 소개하고 Claude Code, Codex, Cursor, Pi, 커스텀 에이전트와 내부 툴을 연결한다고 명시되어 있어 포터빌리티와 비용·보안 통제가 가능한 에이전트 플랫폼 구축의 근거가 된다.

근거

Omnigent은 여러 코딩 에이전트와 기업용 에이전트를 결합·제어·공유하기 위한 오픈소스 'meta-harness'이다. — 본문 단락: 'We go deep on Omnigent' 이후 설명(Omnigent은 combining, controlling, and sharing agents across ... 문장). 출처

데이터베이스와 스토리지 계층은 에이전트의 실행 맥락을 제공하는 핵심 인프라로, Databricks는 CDC의 취약성을 지적하고 HTAP(트랜잭션·분석 통합)는 이상적인 목표지만 현실적으로는 스토리지 계층 통합을 통해 이득을 얻는 것이 실용적이라고 보고 LTAP를 제안한다; LTAP는 스토리지를 통일해 여러 쿼리 엔진을 허용하는 방식으로 입력(다양한 쿼리·워크로드)→처리(공유 스토리지 위의 일관된 데이터 표현)→출력(동일 데이터로 낮은 레이턴시 분석·트랜잭션 수행)을 목표로 하며 관련 보도자료와 제품 페이지가 근거로 제시된다.

근거

Databricks는 CDC가 취약하다고 지적하면서 HTAP의 이상을 언급하고, LTAP는 스토리지 계층 통합으로 대부분의 이득을 제공한다고 주장했다. — 본문 단락: Reynold 발언 요약(‘CDC is brittle…’, 'HTAP has been the holy grail', 'LTAP gets most of the benefits by unifying the storage layer'). 출처

Databricks는 Lakehouse 출발점에서 한 단계 더 나아가 데이터와 에이전트를 함께 운영하는 '데이터·AI 운영체제' 비전을 추구하며, 이 과정에서 빠른 프로토타이핑과 대규모 인프라 운영 역량을 바탕으로 Mosaic 모델 전략, Genie 에이전트, AI Runtime, RL 기반 파인튜닝 등 에코시스템을 결합해 입력(기업 데이터)→처리(에이전트·모델·거버넌스 연동)→출력(기존 소프트웨어의 재작성과 자동화된 작업 수행)을 기대한다고 밝혀 데이터가 에이전트 작동의 필수 컨텍스트임을 근거로 들었다.

용어 해설

Hybrid Transactional/Analytical Processing(HTAP): — OLTP(트랜잭션)와 OLAP(분석)을 단일 시스템에서 모두 처리하려는 데이터베이스 설계 패러다임으로, 레이턴시와 일관성 보장 사이의 균형을 맞추려는 시도로 중요도가 높다.
Change Data Capture(CDC): — 데이터베이스 변경 이벤트를 캡처해 복제·동기화하거나 스트리밍 파이프라인으로 전달하는 기법으로, 실시간 데이터 파이프라인·에이전트 컨텍스트 제공에서 핵심 역할을 하나 운영상 취약성이 문제로 지적된다.
Lakehouse: — 데이터 레이크의 유연한 스토리지와 데이터 웨어하우스의 구조화·거버넌스 기능을 결합한 아키텍처로, 하나의 개방형 기반에서 저장·분석·모델링을 통합해 에이전트용 컨텍스트 저장소로 활용된다.
에이전트 하니스(Agent harness): — 여러 에이전트 구현(코딩 에이전트·커스텀 에이전트 등)을 공통 API·세션·보안·지출제어로 묶어 포팅·협업·공유를 가능하게 하는 상위 추상화 계층으로, 에이전트 운영의 재현성과 관리성을 높인다.