Anthropic의 관리형 에이전트 인프라 구축 아키텍처 분석

Anthropic은 관리형 에이전트(Managed Agents) 서비스를 위해 세션 로그, 추론 하네스, 실행 샌드박스를 독립적으로 확장 가능한 컴포넌트로 분리한 엔지니어링 아키텍처를 구축했다. 추론 프로세스가 컨테이너 프로비저닝을 기다리지 않도록 설계하여 p50 기준 첫 토큰 생성 시간을 60%, p95 기준 90% 이상 단축하는 성과를 거두었다. 보안 강화를 위해 OAuth 토큰과 같은 자격 증명은 외부 금고에 보관하고 프록시를 통해 주입하며, 모든 실행 환경은 일회성 컨테이너로 처리한다. 이 구조는 운영체제 수준의 가상화와 Kubernetes의 상태-연산 분리 개념을 차용하여 에이전트의 안정성과 효율성을 동시에 확보했다.