Salesforce의 멀티 테넌트 AI 에이전트 플랫폼 'BYOP' 구축기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Salesforce는 기존 모놀리식 플래너 구조에서 발생한 팀 간 간섭과 확장성 문제를 해결하기 위해 'BYOP(Bring Your Own Planner)' 플랫폼을 도입했다. 이 플랫폼은 각 팀이 독립적인 추론 엔진을 개발하고 배포할 수 있도록 세션 관리, 상태 유지, 도구 호출 기능을 SDK 형태로 제공한다. 현재 7,000개 이상의 활성 세션과 일일 15,000건의 요청을 처리하며 플랫폼 오버헤드를 5ms 수준으로 유지한다. 이를 통해 100명 이상의 엔지니어가 독립적으로 AI 에이전트를 운영하며 개발 속도와 시스템 안정성을 동시에 달성했다.

대상 독자

AI 에이전트 플랫폼을 구축하거나 관리하는 엔지니어

의미 / 영향

이 아키텍처는 대규모 엔지니어링 조직에서 AI 에이전트의 확장성과 개발 자율성을 확보하는 표준 모델을 제시한다. 특히 멀티 테넌트 환경에서 성능과 격리를 동시에 달성하는 접근 방식은 엔터프라이즈 AI 서비스의 안정적 운영에 필수적인 지침이 된다.

섹션별 상세

기존 모놀리식 플래너는 코드와 인프라가 강하게 결합되어 한 팀의 변경 사항이 전체 시스템에 영향을 미치는 병목 현상을 유발했다. BYOP는 각 추론 엔진을 격리된 환경에서 실행하여 팀 간 간섭을 완전히 제거하고 독립적인 배포를 가능하게 한다.

BYOP 플랫폼의 전체 아키텍처 다이어그램. — Diagram모놀리식 구조에서 분산형 구조로 전환된 플랫폼 아키텍처를 보여준다. 각 에이전트가 독립적인 런타임에서 실행되는 격리 구조를 시각화한다.

BYOP는 세션 관리, 상태 유지, 스트리밍, 도구 호출 등 공통 인프라 기능을 SDK로 추상화하여 제공한다. 개발자는 플랫폼 내부 구조를 고민할 필요 없이 도메인 특화 추론 로직 구현에만 집중한다. 이로써 플랫폼 팀과 제품 팀 간의 책임 경계가 명확해지며, 개발 생산성이 크게 향상되었다.

SearchAgent와 WaiiPlanner는 BYOP 위에서 서로 다른 워크로드 특성을 가지면서도 안정적으로 공존한다. SearchAgent는 읽기 중심의 엔터프라이즈 검색을, WaiiPlanner는 명시적 확인이 필요한 쓰기 중심의 데이터 설정을 처리하며 플랫폼의 범용성을 입증했다. 두 엔진은 공유 인프라 위에서도 간섭 없이 독립적으로 작동한다.

데이터 파이프라인 및 워크플로 흐름도. — Diagram데이터 처리 파이프라인의 단계별 흐름을 설명한다. 복잡한 워크플로가 어떻게 분산 처리되는지 나타낸다.

멀티 테넌트 환경에서 세션 컨텍스트를 유지하면서도 데이터 격리를 보장하기 위해 저장소 키에 테넌트 및 세션 식별자를 포함하는 방식을 채택했다. 24시간 TTL 정책과 스레드 안전한 접근 패턴을 통해 메모리 압박과 보안 문제를 해결했다. 장애 발생 시에도 전체 시스템이 아닌 해당 세션만 격리되어 서비스 가용성을 유지한다.

세션 관리 및 데이터 처리 시퀀스 다이어그램. — Diagram세션 관리 및 데이터 저장소와의 상호작용 과정을 보여준다. 데이터 격리와 상태 유지가 어떻게 구현되는지 설명한다.

분산 추적과 상세한 이벤트 태깅을 통해 7,000개 이상의 활성 세션에 대한 가시성과 비용 추적을 확보했다. 오토스케일링과 지속적인 모니터링은 에이전트별로 상이한 워크로드 특성에 맞춰 리소스를 동적으로 할당한다. 이를 통해 대규모 운영 환경에서도 플랫폼 오버헤드를 5ms 수준으로 최소화했다.