챕터별 상세
레거시 SIEM의 종말과 오픈 보안 레이크하우스의 등장
기존의 SIEM 시스템은 데이터 양이 늘어날수록 비용이 기하급수적으로 상승하고 특정 벤더에 데이터가 묶이는 문제가 있다. 이를 해결하기 위해 Databricks는 2020년부터 정의한 '오픈 보안 레이크하우스' 아키텍처 패턴을 제안했다. 이 패턴은 특정 제품이 아니라 조직이 데이터 소유권을 회복하기 위한 설계 방식이다. 기업은 이를 통해 벤더 락인에서 벗어나고 확장 가능한 보안 인프라를 구축할 수 있다.
SIEM(Security Information and Event Management)은 보안 로그를 수집하고 분석하는 전통적인 솔루션이다.
데이터 소유권 회복을 위한 오픈 포맷 저장 전략
보안 데이터를 특정 벤더의 폐쇄적인 시스템에 저장하면 가격 상승과 확장성 부족의 위험에 직면한다. 대신 Parquet, Delta, Iceberg와 같은 오픈 포맷을 사용하여 기업 소유의 클라우드 계정에 데이터를 직접 저장해야 한다. 클라우드 벤더가 제공하는 저렴한 스토리지(S3, ADLS 등)를 활용하면 비용을 획기적으로 낮출 수 있다. 다양한 도구를 사용하여 데이터를 레이크하우스로 직접 덤프함으로써 데이터 활용의 유연성을 확보했다.
Parquet, Delta, Iceberg는 대규모 데이터를 효율적으로 처리하기 위한 오픈소스 테이블 포맷들이다.
데이터 페더레이션을 활용한 점진적 마이그레이션
모든 데이터를 한 번에 옮기는 '리프트 앤 시프트' 방식은 위험 부담이 크다. 데이터 페더레이션 기술을 사용하면 기존의 폐쇄적인 시스템에 있는 데이터에 접근하면서 점진적으로 레이크하우스로 이전할 수 있다. 페더레이션은 물리적 이동 없이 데이터를 조회할 수 있게 해주어 마이그레이션 기간 동안의 공백을 메워준다. 수년에 걸친 점진적 전환을 통해 시스템 중단 없이 아키텍처를 현대화할 수 있다.
데이터 페더레이션은 여러 소스의 데이터를 통합된 가상 뷰로 제공하는 기술이다.
AI 에이전트를 활용한 지능형 보안 방어 체계
공격자들이 자동화된 AI 에이전트 군단을 사용하는 것처럼 방어자도 에이전트로 대응해야 한다. 오픈 보안 레이크하우스에 저장된 표준화된 데이터를 기반으로 탐지, 분석, 응답을 수행하는 오픈 에이전트를 구축했다. LangChain 등 다양한 프레임워크로 작성된 에이전트들을 조합할 수 있는 '슈퍼바이저 에이전트' 접근 방식을 적용했다. Databricks는 이를 위해 에이전트들을 연결하고 관리하는 Agent Bricks 기술을 제공하여 복합적인 방어 체계를 구현했다.
AI 에이전트는 특정 목표를 달성하기 위해 자율적으로 판단하고 도구를 사용하는 AI 시스템이다.
용어 해설
- 보안 정보 및 이벤트 관리(SIEM)
- — 조직의 IT 인프라 전반에서 발생하는 보안 데이터를 수집, 분석, 보고하는 시스템이다. 실시간 모니터링과 위협 탐지를 수행하지만, 데이터 양이 폭증함에 따라 저장 비용이 급증하고 특정 벤더에 종속되는 문제가 발생하고 있다.
- 데이터 레이크하우스(Data Lakehouse)
- — 데이터 레이크의 저렴한 저장 비용과 데이터 웨어하우스의 구조화된 관리 기능을 결합한 아키텍처이다. 보안 데이터를 원시 형태 그대로 저장하면서도 고성능 쿼리와 AI 분석을 동시에 수행할 수 있게 해준다.
- 데이터 페더레이션(Data Federation)
- — 데이터를 한 곳으로 물리적으로 이동시키지 않고, 분산된 여러 시스템에 있는 데이터를 마치 하나의 가상 데이터베이스처럼 조회하는 기술이다. 마이그레이션 과정에서 기존 시스템의 데이터를 활용하기 위한 중간 단계로 유용하다.
- 오픈 포맷(Open Format)
- — 특정 기업의 소프트웨어에 종속되지 않고 누구나 읽고 쓸 수 있는 공개된 데이터 저장 규격이다. Parquet, Delta, Iceberg 등이 대표적이며, 이를 통해 벤더 락인을 방지하고 다양한 분석 도구를 자유롭게 사용할 수 있다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 10.수집 2026. 04. 10.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
