챕터별 상세
글로벌 IoT 실시간 시각화 데모
전 세계 수십 명의 Databricks 직원들이 자신의 스마트폰 센서를 통해 생성한 실시간 IoT 이벤트가 지도 위에 즉각적으로 표시된다. 시스템은 55,000개 이상의 이벤트를 수집했으며, 사용자가 지도를 확대하면 특정 위치의 이동 경로와 속도 데이터를 수 밀리초 내에 조회할 수 있다. 이는 복잡한 파이프라인 연결 없이도 대규모 스트리밍 데이터를 실시간으로 처리할 수 있음을 보여준다. 결과적으로 인프라 구축에 대한 부담 없이 비즈니스 인사이트 도출에 집중할 수 있는 환경이 조성된다.
Zerobus와 Lakebase의 역할 및 아키텍처
전체 시스템은 데이터 수집을 담당하는 Zerobus, 저지연 서빙을 위한 Lakebase, 그리고 프론트엔드인 Databricks Apps로 구성된다. 모바일 앱에서 생성된 가속도, 위치, 방향 센서 데이터는 FastAPI를 거쳐 Zerobus로 전송되며, 이는 다시 Unity Catalog의 Delta 테이블에 기록된다. 기존의 Kafka나 Kinesis를 사용할 때 필요했던 복잡한 클러스터 설정이나 토픽 관리가 전혀 필요 없는 것이 특징이다. Lakebase는 이 데이터를 복제하여 12ms 수준의 매우 낮은 지연 시간으로 쿼리 응답을 제공한다.
Unity Catalog는 Databricks에서 데이터와 AI 자산을 통합 관리하는 거버넌스 계층이다.
데이터 수집을 위한 테이블 및 권한 설정
실시간 데이터를 수용하기 위해 먼저 Unity Catalog 내에 3단계 네임스페이스를 가진 Delta 테이블을 정의한다. 테이블에는 기기 ID, 타임스탬프, 가속도 센서 값, GPS 좌표 등 IoT 데이터 구조에 맞는 컬럼들이 포함된다. 데이터를 기록하기 위해 'Service Principal'을 생성하고 해당 테이블에 대해 'MODIFY' 권한을 부여하는 보안 설정 과정을 거친다. 이 과정을 통해 외부 애플리케이션인 모바일 앱이 안전하게 Databricks 환경으로 데이터를 스트리밍할 수 있게 된다. SQL 명령어를 통해 간단하게 권한을 제어할 수 있어 관리가 용이하다.
실시간 데이터 스트리밍 확인 및 모니터링
Zerobus 백엔드 애플리케이션을 통해 전 세계에서 유입되는 라이브 데이터를 실시간 테이블 형태로 확인할 수 있다. 각 행에는 클라이언트 ID와 함께 실시간으로 갱신되는 위도, 경도, 센서 값들이 표시되며 데이터가 끊임없이 유입되는 것을 볼 수 있다. Lakebase 모니터링 대시보드에서는 CPU 사용량, RAM 할당량, 데이터베이스 크기 및 트랜잭션 처리 현황을 시각적으로 파악할 수 있다. 특히 수천 개의 트랜잭션이 발생하는 상황에서도 안정적인 성능을 유지하는 OLTP 특성이 확인된다. 이를 통해 시스템의 부하 상태를 실시간으로 점검하고 자원을 효율적으로 관리할 수 있다.
sql
CREATE TABLE catalog_name.schema_name.table_name (
ID STRING NOT NULL, -- Unique record ID (UUID)
CLIENT_ID STRING, -- 12-char readable client identifier
TIMESTAMP TIMESTAMP NOT NULL, -- When sensor reading was taken
acceleration_x DOUBLE, -- Linear acceleration (m/s2)
...
latitude DOUBLE, -- GPS latitude in degrees
longitude DOUBLE -- GPS longitude in degrees
) USING DELTA;IoT 센서 데이터를 저장하기 위한 Delta 테이블 스키마 정의 예시
AI 어시스턴트 Genie를 활용한 인사이트 도출
단순한 데이터 수집을 넘어 Databricks의 AI 어시스턴트인 Genie를 활용해 자연어로 데이터를 분석한다. 사용자가 '특정 클라이언트의 시간에 따른 속도 변화를 그래프로 그려줘'라고 요청하면 Genie는 즉시 SQL 쿼리를 생성하고 시각화 차트를 출력한다. 분석 결과, 특정 구간에서 속도가 5.29m/s까지 상승했다가 다시 낮아지는 패턴을 명확하게 확인할 수 있다. 이는 복잡한 BI 도구 사용법을 익히지 않아도 현장 데이터를 즉각적으로 비즈니스 의사결정에 활용할 수 있음을 의미한다. 데이터 수집부터 AI 분석까지 하나의 통합 플랫폼에서 이루어지는 워크플로우가 완성된다.
Genie는 Databricks 플랫폼 내에서 자연어를 SQL로 변환하고 데이터를 시각화해주는 AI 에이전트이다.
python
from lakebase_foreachwriter import LakebaseForeachWriter
writer = LakebaseForeachWriter(
username="your-username",
password="your-password",
table="your_target_table",
df=your_dataframe,
host="your-lakebase-dns.databricks.com"
)
query = (
streaming_df.writeStream
.foreach(writer)
.start()
)실시간 스트리밍 데이터를 Lakebase 테이블로 동기화하는 Python 코드
용어 해설
- 온라인 트랜잭션 처리(OLTP)
- — 네트워크상의 여러 이용자가 실시간으로 데이터베이스의 데이터를 갱신하거나 조회하는 등의 단위 작업을 처리하는 방식이다. 이 영상에서는 Lakebase가 Postgres 기반의 OLTP 성능을 제공하여 수 밀리초 단위의 낮은 지연 시간으로 대량의 이벤트를 처리함을 강조한다.
- 데이터 수집(Ingestion)
- — 다양한 소스로부터 데이터를 가져와 저장소나 처리 시스템으로 전송하는 초기 단계의 프로세스이다. Zerobus는 복잡한 설정 없이 수만 개의 IoT 기기에서 발생하는 실시간 스트리밍 데이터를 즉시 수집하는 역할을 수행한다.
- 저지연(Low Latency)
- — 데이터가 시스템에 입력되어 처리된 후 출력되기까지 걸리는 시간이 매우 짧은 상태를 의미한다. 실시간 대시보드나 사기 탐지 시스템처럼 즉각적인 반응이 필요한 서비스에서 핵심적인 성능 지표로 활용된다.
- 서비스 주체(Service Principal)
- — 애플리케이션이나 서비스가 특정 리소스에 액세스하기 위해 사용하는 보안 ID이다. 이 시스템에서는 모바일 앱이 Zerobus에 데이터를 안전하게 기록하기 위해 서비스 주체를 생성하고 권한을 부여하는 과정을 거친다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 18.수집 2026. 04. 18.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
