Salesforce의 멀티 테넌트 AI 에이전트 플랫폼 'BYOP' 구축기

섹션별 상세

기존 모놀리식 플래너는 코드와 인프라가 강하게 결합되어 한 팀의 변경 사항이 전체 시스템에 영향을 미치는 병목 현상을 유발했다. BYOP는 각 추론 엔진을 격리된 환경에서 실행하여 팀 간 간섭을 완전히 제거하고 독립적인 배포를 가능하게 한다.

BYOP 플랫폼의 전체 아키텍처 다이어그램. — Diagram모놀리식 구조에서 분산형 구조로 전환된 플랫폼 아키텍처를 보여준다. 각 에이전트가 독립적인 런타임에서 실행되는 격리 구조를 시각화한다.

BYOP는 세션 관리, 상태 유지, 스트리밍, 도구 호출 등 공통 인프라 기능을 SDK로 추상화하여 제공한다. 개발자는 플랫폼 내부 구조를 고민할 필요 없이 도메인 특화 추론 로직 구현에만 집중한다. 이로써 플랫폼 팀과 제품 팀 간의 책임 경계가 명확해지며, 개발 생산성이 크게 향상되었다.

SearchAgent와 WaiiPlanner는 BYOP 위에서 서로 다른 워크로드 특성을 가지면서도 안정적으로 공존한다. SearchAgent는 읽기 중심의 엔터프라이즈 검색을, WaiiPlanner는 명시적 확인이 필요한 쓰기 중심의 데이터 설정을 처리하며 플랫폼의 범용성을 입증했다. 두 엔진은 공유 인프라 위에서도 간섭 없이 독립적으로 작동한다.

데이터 파이프라인 및 워크플로 흐름도. — Diagram데이터 처리 파이프라인의 단계별 흐름을 설명한다. 복잡한 워크플로가 어떻게 분산 처리되는지 나타낸다.

멀티 테넌트 환경에서 세션 컨텍스트를 유지하면서도 데이터 격리를 보장하기 위해 저장소 키에 테넌트 및 세션 식별자를 포함하는 방식을 채택했다. 24시간 TTL 정책과 스레드 안전한 접근 패턴을 통해 메모리 압박과 보안 문제를 해결했다. 장애 발생 시에도 전체 시스템이 아닌 해당 세션만 격리되어 서비스 가용성을 유지한다.

세션 관리 및 데이터 처리 시퀀스 다이어그램. — Diagram세션 관리 및 데이터 저장소와의 상호작용 과정을 보여준다. 데이터 격리와 상태 유지가 어떻게 구현되는지 설명한다.

분산 추적과 상세한 이벤트 태깅을 통해 7,000개 이상의 활성 세션에 대한 가시성과 비용 추적을 확보했다. 오토스케일링과 지속적인 모니터링은 에이전트별로 상이한 워크로드 특성에 맞춰 리소스를 동적으로 할당한다. 이를 통해 대규모 운영 환경에서도 플랫폼 오버헤드를 5ms 수준으로 최소화했다.

용어 해설

멀티 테넌시(Multi-tenancy): — 하나의 소프트웨어 인스턴스가 여러 사용자 그룹(테넌트)을 동시에 지원하는 아키텍처. 각 테넌트의 데이터와 자원을 격리하여 보안과 독립성을 보장하는 것이 핵심.
모놀리식 아키텍처(Monolithic Architecture): — 모든 기능과 서비스가 하나의 거대한 코드베이스와 인프라에 통합된 구조. 초기 개발은 빠르지만, 규모가 커질수록 변경 사항이 전체 시스템에 영향을 미치는 결합도 문제가 발생.
추론 엔진(Reasoning Engine): — LLM과 도구 호출을 결합하여 복잡한 작업을 수행하는 AI 에이전트의 핵심 로직. 사용자의 의도를 해석하고 적절한 도구를 선택하여 단계별로 문제를 해결하는 역할을 수행.
분산 추적(Distributed Tracing): — 마이크로서비스 환경에서 요청이 여러 시스템을 거칠 때 각 단계의 흐름과 지연 시간을 추적하는 기술. 복잡한 AI 파이프라인에서 성능 병목과 오류 지점을 파악하는 데 필수적.

근거 모음

근거

BYOP는 7,000개 이상의 활성 세션과 일일 15,000건의 요청을 처리한다. — Intro
플랫폼 오버헤드를 5ms 수준으로 유지한다. — Intro

기술

Redis
Kubernetes
LLM
Agentforce

활용 사례

RAG 시스템
데이터 설정 자동화
멀티 테넌트 AI 에이전트 운영