PostHog이 AI 에이전트를 구축하며 겪은 시행착오와 교훈

섹션별 상세

PostHog은 초기에 코디네이터가 여러 서브 에이전트에게 작업을 할당하는 계층적 구조를 시도했다. 하지만 이 방식은 에이전트 간 정보를 전달하는 과정에서 핵심적인 맥락이 누락되는 컨텍스트 손실 문제를 야기했다. 결과적으로 복잡한 사용자 의도를 끝까지 유지하며 실행하는 데 실패했다.

두 번째 시도에서는 모든 기능을 하나의 루프 안에 44개의 도구로 밀어 넣는 단일 에이전트 방식을 선택했다. 그러나 모델이 한 번에 고려해야 할 도구가 너무 많아지면서 의사결정 효율이 급격히 떨어졌고 시스템 확장이 불가능한 상태에 도달했다. 이는 도구의 양보다 적절한 선택과 집중이 중요함을 보여주는 사례로 남았다.

현재는 Claude Agent SDK와 MCP를 결합하여 도구를 표준화된 방식으로 관리하고 샌드박스 환경에서 실행한다. 이 구조를 통해 보안성을 확보하면서도 모델이 필요한 도구를 유연하게 호출할 수 있는 환경을 구축했다. 특히 전체 AI 대시보드의 34%가 에이전트가 아닌 MCP 서버를 통해 생성되는 성과를 거뒀다.

엔지니어링 팀은 정교한 아키텍처 설계보다 제품의 분류 체계(Taxonomy)나 기술 문서 같은 구조화된 컨텍스트를 제공하는 것이 성능에 더 큰 영향을 미친다는 사실을 발견했다. 런타임에 적절한 정보를 주입하는 메커니즘이 에이전트의 지능을 실질적으로 결정했다. 이는 데이터의 질이 모델의 추론 능력만큼 중요하다는 점을 뒷받침하는 결과이다.

사용자 피드백 분석 결과, 대다수의 불만은 새로운 기능의 부재가 아니라 일관되지 않은 응답 성능과 불명확한 실패 원인에서 비롯됐다. 에이전트가 작업을 수행하지 못했을 때 그 이유를 사용자에게 명확히 전달하는 실패 모드 설계가 프로덕션 환경의 핵심 과제로 부각됐다.

기술

Claude Agent SDK
MCP
PostHog

활용 사례

AI 대시보드 생성
제품 분석 에이전트

언급된 리소스

문서PostHog Shares What Went Wrong Building AI Agents