10만 건의 동시 대화를 처리하는 AI 기반 대화 저장 서비스(CSS)의 확장 전략

섹션별 상세

기존 Postgres 기반의 트랜잭션 시스템은 특정 테넌트의 트래픽 급증 시 쓰기 성능 저하와 핫스팟 문제를 노출했다. 이를 해결하기 위해 애플리케이션 계층에서 이벤트를 버퍼링하고 배치 처리하는 수평 확장형 NoSQL DB로 전환하여 저장소 도달 전 부하를 완화했다. 분산 저장소 도입을 통해 2만 5천 건 이상의 동시 대화에서도 안정적인 처리량을 확보했다. 대규모 트래픽 환경에서 데이터베이스의 물리적 한계를 극복하고 시스템 안정성을 높이는 계기가 됐다.

데이터 유입량이 3만 건을 넘어서면서 Kafka를 도입하여 스트리밍 기반의 데이터 흐름을 구축하고 부하를 균등하게 분산했다. 대화 단위 파티셔닝을 통해 트래픽 스파이크를 흡수하고 하위 시스템으로의 데이터 전달을 안정화했다. 하지만 비동기 스트리밍 특성상 컨슈머 랙이 발생하여 데이터가 저장소에 반영되기까지의 지연 시간이 생겼다. 이는 실시간 가시성이 중요한 AI 에이전트와 상담사 워크플로에 데이터 공백을 초래하는 새로운 과제를 던졌다.

근거

Kafka 도입 이후 발생한 컨슈머 랙은 분당 3만 건 이상의 이벤트 유입 시 주요 병목 현상으로 나타났다. — What limitations surfaced in the CSS streaming pipeline 섹션

스트리밍 지연으로 인한 데이터 불일치를 해결하기 위해 메모리 기반의 VegaCache 계층을 아키텍처에 통합했다. 최신 쓰기 데이터를 메모리에서 직접 서빙함으로써 저장소 동기화가 완료되기 전에도 즉각적인 데이터 조회가 가능하도록 설계했다. 이를 통해 비동기 처리의 효율성을 유지하면서도 사용자에게는 실시간에 가까운 읽기 일관성을 제공한다. 결과적으로 5만 건 이상의 고부하 상황에서도 AI 시스템이 최신 대화 상태를 즉시 참조할 수 있는 환경을 구축했다.

대화 저장 서비스(CSS)가 1만 건에서 10만 건의 동시 대화로 확장되는 4단계 진화 과정을 보여주는 로드맵 — Diagram직접 저장 방식에서 분산 저장, 스트리밍 도입, 그리고 최종적으로 캐시와 저장소를 결합한 구조로 발전하는 과정을 단계별로 설명합니다. 각 단계별로 사용된 기술(Aurora, ZOS, Kafka, VegaCache)과 그에 따른 주요 성과를 명시하여 아키텍처의 변화 이유를 시각적으로 전달합니다.

CSS 아키텍처의 상세 진화 단계와 각 단계별 데이터 흐름 다이어그램 — Diagram이미지 1의 고해상도 버전으로, 3단계에서 Kafka를 통한 비동기 흐름이 도입되고 4단계에서 VegaCache가 추가되어 실시간 읽기 일관성을 확보하는 메커니즘을 상세히 보여줍니다. 데이터 클라우드 및 데이터 엑스포트와의 연동 구조도 포함되어 있습니다.

근거

CSS 아키텍처는 1만 건에서 시작하여 5만 건을 넘어 최대 10만 건의 동시 대화 처리를 목표로 진화했다. — What scale pressures shaped the CSS architecture 섹션 및 이미지 1, 2

AI 기반 대화는 대화 내용이 길어지고 음성 트랜스크립트나 AI 생성 응답 등 페이로드 크기가 커지는 특징이 있다. CSS는 데이터 압축 기술과 페이지네이션 최적화를 도입하여 증가하는 데이터 볼륨을 효율적으로 관리하고 검색 지연 시간을 단축했다. 10만 건의 동시 대화 목표를 달성하기 위해 저장소 확장뿐만 아니라 데이터 전송 효율성까지 고려한 최적화를 수행했다. 이는 대규모 언어 모델(LLM) 기반의 복잡한 상호작용을 지연 없이 지원하기 위한 필수적인 조치였다.

용어 해설

신뢰할 수 있는 단일 출처(Source of Truth): — 데이터 시스템 내에서 특정 데이터 요소에 대해 가장 신뢰할 수 있는 원본 데이터를 의미한다. CSS는 대화 컨텍스트의 원본으로서 감정 분석이나 에이전트 어시스트 같은 실시간 AI 시스템에 정확한 데이터를 제공하는 기반이 된다.
쓰기 후 읽기 일관성(Read-after-write Consistency): — 데이터를 저장한 직후에 조회했을 때 업데이트된 최신 데이터를 즉시 확인할 수 있는 보장 수준을 뜻한다. 비동기 스트리밍 환경에서는 데이터 저장 지연으로 인해 이 일관성이 깨질 수 있으며, 이를 해결하기 위해 메모리 캐시 등을 활용한다.
컨슈머 랙(Consumer Lag): — 메시지 큐 시스템에서 데이터 생성 속도가 소비 속도보다 빨라 처리되지 못한 메시지가 쌓이는 지연 현상이다. 이 글에서는 Kafka를 통한 데이터 유입량이 처리 용량을 초과할 때 발생하며, 실시간 AI 시스템의 데이터 가시성을 저해하는 요인이 된다.
비관계형 데이터베이스(NoSQL DB): — 전통적인 관계형 데이터베이스보다 유연한 데이터 모델을 가지며 수평적 확장이 용이한 저장 시스템이다. 대규모 대화 데이터를 처리하기 위해 기존 Postgres의 한계를 넘어서는 수평 확장성을 확보하기 위해 도입되었다.

기술

Kafka
Postgres
NoSQL DB
VegaCache
AWS S3

활용 사례

실시간 AI 감정 분석
AI 에이전트 어시스트
대규모 고객 지원 센터(CCaaS) 데이터 관리