10만 건의 동시 대화를 처리하는 AI 기반 대화 저장 서비스(CSS)의 확장 전략

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Salesforce의 대화 저장 서비스(CSS)는 실시간 AI 시스템에 대화 컨텍스트를 제공하는 핵심 소스 역할을 수행한다. 기존 Postgres 기반 시스템이 1만 건 이상의 동시 대화에서 발생하는 트래픽 급증을 처리하지 못하자, 팀은 NoSQL DB와 Kafka를 도입하여 수평 확장성과 부하 분산을 확보했다. 비동기 처리로 인한 데이터 가시성 지연 문제는 VegaCache라는 실시간 캐시 계층을 추가하여 쓰기 후 읽기 일관성을 보장함으로써 해결했다. 이러한 아키텍처 개선을 통해 CSS는 지연 시간과 일관성을 유지하면서 최대 10만 건의 동시 대화 부하를 견딜 수 있는 AI 준비 데이터 플랫폼으로 진화했다.

배경

Kafka 및 분산 메시징 시스템에 대한 이해, NoSQL 데이터베이스의 수평 확장 개념, 분산 시스템에서의 데이터 일관성(Consistency) 모델 지식

대상 독자

대규모 실시간 대화 데이터를 처리하는 데이터 엔지니어 및 AI 플랫폼 아키텍트

의미 / 영향

이 사례는 AI 에이전트 도입으로 인해 급증하는 대화 데이터와 커지는 페이로드를 기존 데이터베이스 방식으로는 감당하기 어렵다는 점을 시사합니다. 스트리밍 우선 아키텍처와 실시간 캐시를 결합한 하이브리드 접근 방식은 향후 LLM 기반 서비스의 확장성과 일관성을 동시에 잡으려는 기업들에게 표준 모델이 될 것입니다.

섹션별 상세

기존 Postgres 기반의 트랜잭션 시스템은 특정 테넌트의 트래픽 급증 시 쓰기 성능 저하와 핫스팟 문제를 노출했다. 이를 해결하기 위해 애플리케이션 계층에서 이벤트를 버퍼링하고 배치 처리하는 수평 확장형 NoSQL DB로 전환하여 저장소 도달 전 부하를 완화했다. 분산 저장소 도입을 통해 2만 5천 건 이상의 동시 대화에서도 안정적인 처리량을 확보했다. 대규모 트래픽 환경에서 데이터베이스의 물리적 한계를 극복하고 시스템 안정성을 높이는 계기가 됐다.

데이터 유입량이 3만 건을 넘어서면서 Kafka를 도입하여 스트리밍 기반의 데이터 흐름을 구축하고 부하를 균등하게 분산했다. 대화 단위 파티셔닝을 통해 트래픽 스파이크를 흡수하고 하위 시스템으로의 데이터 전달을 안정화했다. 하지만 비동기 스트리밍 특성상 컨슈머 랙이 발생하여 데이터가 저장소에 반영되기까지의 지연 시간이 생겼다. 이는 실시간 가시성이 중요한 AI 에이전트와 상담사 워크플로에 데이터 공백을 초래하는 새로운 과제를 던졌다.

스트리밍 지연으로 인한 데이터 불일치를 해결하기 위해 메모리 기반의 VegaCache 계층을 아키텍처에 통합했다. 최신 쓰기 데이터를 메모리에서 직접 서빙함으로써 저장소 동기화가 완료되기 전에도 즉각적인 데이터 조회가 가능하도록 설계했다. 이를 통해 비동기 처리의 효율성을 유지하면서도 사용자에게는 실시간에 가까운 읽기 일관성을 제공한다. 결과적으로 5만 건 이상의 고부하 상황에서도 AI 시스템이 최신 대화 상태를 즉시 참조할 수 있는 환경을 구축했다.

대화 저장 서비스(CSS)가 1만 건에서 10만 건의 동시 대화로 확장되는 4단계 진화 과정을 보여주는 로드맵 — Diagram직접 저장 방식에서 분산 저장, 스트리밍 도입, 그리고 최종적으로 캐시와 저장소를 결합한 구조로 발전하는 과정을 단계별로 설명합니다. 각 단계별로 사용된 기술(Aurora, ZOS, Kafka, VegaCache)과 그에 따른 주요 성과를 명시하여 아키텍처의 변화 이유를 시각적으로 전달합니다.

CSS 아키텍처의 상세 진화 단계와 각 단계별 데이터 흐름 다이어그램 — Diagram이미지 1의 고해상도 버전으로, 3단계에서 Kafka를 통한 비동기 흐름이 도입되고 4단계에서 VegaCache가 추가되어 실시간 읽기 일관성을 확보하는 메커니즘을 상세히 보여줍니다. 데이터 클라우드 및 데이터 엑스포트와의 연동 구조도 포함되어 있습니다.

AI 기반 대화는 대화 내용이 길어지고 음성 트랜스크립트나 AI 생성 응답 등 페이로드 크기가 커지는 특징이 있다. CSS는 데이터 압축 기술과 페이지네이션 최적화를 도입하여 증가하는 데이터 볼륨을 효율적으로 관리하고 검색 지연 시간을 단축했다. 10만 건의 동시 대화 목표를 달성하기 위해 저장소 확장뿐만 아니라 데이터 전송 효율성까지 고려한 최적화를 수행했다. 이는 대규모 언어 모델(LLM) 기반의 복잡한 상호작용을 지연 없이 지원하기 위한 필수적인 조치였다.

실무 Takeaway

비동기 스트리밍 아키텍처에서 발생하는 데이터 가시성 지연은 메모리 캐시 계층(VegaCache)을 도입하여 쓰기 후 읽기 일관성을 보장함으로써 해결할 수 있다.
특정 테넌트나 사용자의 트래픽 쏠림 현상은 Kafka의 파티셔닝 전략과 애플리케이션 레벨의 배치 처리를 통해 저장소 부하를 균등하게 분산시켜 방지해야 한다.
AI 시스템을 위한 데이터 플랫폼은 단순 저장 기능을 넘어 스키마 매핑을 자동화하는 메타데이터 기반 통합 계층을 구축하여 다양한 다운스트림 시스템과의 연동 효율을 높여야 한다.