PostHog이 AI 에이전트를 구축하며 겪은 시행착오와 교훈

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

PostHog 엔지니어링 팀은 AI 에이전트를 구축하는 과정에서 세 차례의 아키텍처 변화를 거치며 얻은 실무적 통찰을 공개했다. 초기에는 코디네이터와 서브 에이전트 구조를 시도했으나 컨텍스트 손실 문제로 실패했고, 이후 44개의 도구를 단일 루프에 넣는 방식도 확장성 한계에 부딪혔다. 최종적으로 Claude Agent SDK와 MCP를 도입하여 샌드박스 환경에서 도구를 실행하는 구조를 정착시켰다. 특히 AI 대시보드 생성의 34%가 전용 에이전트가 아닌 MCP 서버를 통해 발생했다는 점은 복잡한 에이전트보다 표준화된 도구 인터페이스의 중요성을 입증했다.

배경

LLM 에이전트 기본 개념, MCP(Model Context Protocol)에 대한 이해

대상 독자

LLM 기반 에이전트 서비스를 개발하고 운영하는 엔지니어 및 프로덕트 매니저

의미 / 영향

에이전트 개발의 패러다임이 복잡한 오케스트레이션 로직에서 MCP와 같은 표준화된 도구 인터페이스와 고품질 컨텍스트 제공으로 이동하고 있음을 보여준다.

섹션별 상세

PostHog은 초기에 코디네이터가 여러 서브 에이전트에게 작업을 할당하는 계층적 구조를 시도했다. 하지만 이 방식은 에이전트 간 정보를 전달하는 과정에서 핵심적인 맥락이 누락되는 컨텍스트 손실 문제를 야기했다. 결과적으로 복잡한 사용자 의도를 끝까지 유지하며 실행하는 데 실패했다.

두 번째 시도에서는 모든 기능을 하나의 루프 안에 44개의 도구로 밀어 넣는 단일 에이전트 방식을 선택했다. 그러나 모델이 한 번에 고려해야 할 도구가 너무 많아지면서 의사결정 효율이 급격히 떨어졌고 시스템 확장이 불가능한 상태에 도달했다. 이는 도구의 양보다 적절한 선택과 집중이 중요함을 보여주는 사례로 남았다.

현재는 Claude Agent SDK와 MCP를 결합하여 도구를 표준화된 방식으로 관리하고 샌드박스 환경에서 실행한다. 이 구조를 통해 보안성을 확보하면서도 모델이 필요한 도구를 유연하게 호출할 수 있는 환경을 구축했다. 특히 전체 AI 대시보드의 34%가 에이전트가 아닌 MCP 서버를 통해 생성되는 성과를 거뒀다.

엔지니어링 팀은 정교한 아키텍처 설계보다 제품의 분류 체계(Taxonomy)나 기술 문서 같은 구조화된 컨텍스트를 제공하는 것이 성능에 더 큰 영향을 미친다는 사실을 발견했다. 런타임에 적절한 정보를 주입하는 메커니즘이 에이전트의 지능을 실질적으로 결정했다. 이는 데이터의 질이 모델의 추론 능력만큼 중요하다는 점을 뒷받침하는 결과이다.

사용자 피드백 분석 결과, 대다수의 불만은 새로운 기능의 부재가 아니라 일관되지 않은 응답 성능과 불명확한 실패 원인에서 비롯됐다. 에이전트가 작업을 수행하지 못했을 때 그 이유를 사용자에게 명확히 전달하는 실패 모드 설계가 프로덕션 환경의 핵심 과제로 부각됐다.

실무 Takeaway

시스템 프롬프트가 반복되는 RAG 파이프라인에 Prompt Caching을 적용하면 API 비용을 최대 90% 절감할 수 있다.
에이전트의 정확도를 높이려면 모델 자체의 성능보다 제품의 메타데이터와 기술 문서를 구조화하여 런타임에 정확히 주입하는 컨텍스트 관리가 더 중요하다.
사용자 경험 측면에서 에이전트가 왜 실패했는지 명확히 알 수 있는 실패 모드 가시성을 확보하는 것이 제품 신뢰도 유지의 핵심이다.

언급된 리소스

문서PostHog Shares What Went Wrong Building AI Agents