에이전트형 Plan-Execute 파이프라인의 시간적 시맨틱 캐싱 및 워크플로우 최적화 평가

산업 자산 운영 환경은 센서 데이터, 작업 지시, 실패 모드, 예측 도구, 도메인 에이전트 간의 협조가 필요한 지연 민감형 문제다. 기존 KV-cache나 임베딩 기반 시맨틱 캐싱은 외부 상태(자산, 센서, 시간 창)에 따른 출력 유효성 차이를 포착하지 못해 재사용의 안전성을 저해한다. 본 연구는 AOB(AssetOpsBench)에서 시간 의존성을 고려한 시맨틱 캐시와 MCP 워크플로우 최적화를 제안하고, MCP 레이어를 통한 도구 발견 비용 절감과 캐시 레이어의 시계열 검증으로 엔드투엔드 지연을 크게 감소시킴을 보여준다. 또한 순수 시맨틱 유사도만으로의 재사용이 파라미터가 풍부한 industrial 쿼리에서 한계를 보이며, 히트-디시전의 신뢰성 한계도 드러난다.

단계1. Plan-Execute 파이프라인에서 출력은 입력 텍스트뿐 아니라 실행 중 외부 상태(자산, 센서, 시간 창)에 좌우된다. 기존의 임베딩 기반 시맨틱 캐싱은 시간 창이나 자산 상태를 반영하지 못해 재사용의 타당성을 떨어뜨린다. 단계2. 본 연구는 쿼리를 시계열 의존성에 따라 Volatile/Static/Relative/Anchored로 분류하는 경량의 Temporal Classifier를 도입하고, Anchored의 경우 Resolve된 윈도우를 활용해 window-호환성 판단을 수행하는 Annotated 재랭킹 기반 판단기를 결합한다. 단계3. MCP 워크플로우 측면에서는 도구 발견(discovery) 캐시를 활용하고, 계획의 DAG를 기반으로 독립 분기를 병렬로 실행하는 Persistent Server Pool을 사용해 실행 벽을 줄인다. 결과적으로 MCP 레이어는 모든 쿼리에서 일정한 지연 감소를 제공하고, 캐시 레이어는 히트 구간에 대규모 추가 이득을 부여한다. 이 이중-layer 구성이 서로 보완적으로 작용하여 합산된 속도향상을 달성한다.

전체 접근 방식은 (1) Temporal Cache와 (2) MCP 워크플로우 최적화의 두 축으로 구성된다. Temporal Cache는 입력 쿼리를 run_time으로부터 버킷으로 나눠 Volatile는 캐시를 우회, Static/Relative는 임베딩 + 재랭킹, Anchored는 고정 윈도우에 대해 근사 최근접 이웃(ANN) 검색을 수행한다. 후보들을 5개까지 탐색하고, 재랭커 점수로 판단해 캐시 적중 여부를 결정한다. 캐시 미스 시 풀 파이프라인으로 넘어가며, MCP Discovery 캐시는 서버 도메인 목록의 재생성을 줄이고, DAG 레이어드 병렬 실행은 독립적 단계들을 병렬로 수행한다. 학습/추론에 사용된 모델은 Llama-3-3-70B-instruct(Plan/Tool-argument/Summarization), Qwen3-Embedding-0.6B, Qwen3-Reranker-0.6B이며 FAISS를 이용한 ANN 검색을 사용한다. 캐시 용량은 50 엔트리, LCFU eviction 적용, TTL은 24시간이다. 검색 임계값은 tau_sim=0.75, tau_jsm=0.92이며, 캐시는 이미지 인덱스의 삽입과 삭제를 통해 관리된다. MCP 레이어는 18 IoT 쿼리에서 1.67× 엔드-투-엔드 속도향상을 보이고, 전체 80개 파라프레이즈 쿼리에서 엔드-투-엔드 속도향상은 3.48×를 달성한다.

주요 벤치마크에서 엔드-투-엔드 속도는 3.48×의 중앙값 속도향상을 보였고(기본 34.10s에서 최적 9.80s), 80개의 파라프레이즈-티어 쿼리에서 히트율은 45.0%였다. 히트 경로는 캐시 응답을 반환하여 중앙값 속도향상은 31.87×, 각 행당 25.50초를 절감한다. 미스 경로는 MCP 레이어의 이득으로 인해 여전히 기본선보다 빠르며, 미스에서의 중앙값 차이는 -3.30초였다. MCP 워크플로우 최적화만으로도 엔드-투-엔드 속도는 1.67× 증가하고, 발견 비용은 296× 감소하며 실행 시간은 1.99× 감소한다. 캐시 결정 품질은 정밀도 0.75, 재현율 0.5625, F1 0.6429, 특이도 0.7188로 나타났다. 파라미터-이동 쿼리에서 residual error가 집중되며, 파라미터-의존 판단의 필요성이 제시된다.

아키텍처는 Plan-Execute 파이프라인과 MCP 도메인 서버 네트워크를 포함한다. Discovery 캐시는 서버 목록과 도구 시그니처를 로컬 JSON으로 저장하며, 변경 시 자동 무효화된다. 캐시는 50 엔트리로 고정되고 LCFU eviction으로 관리된다. 연산은 Kahn의 알고리즘에 따라 DAG 레이어로 그룹화된 계획의 각 레이어를 병렬 실행하며, 필요한 서버마다 지속적인 stdio 세션을 유지하는 MCPServerPool을 사용한다. 임베딩은 Qwen3-Embedding-0.6B(1024차원)로 생성되고, 검색은 FAISS를 이용해 top_k=5의 후보를 얻은 뒤 Qwen3-Reranker-0.6B로 재랭킹 점수를 매긴다. 임계값 tau_sim=0.75, tau_jsm=0.92를 적용하며, 캐시 용량은 50로 고정, TTL은 24시간이다. Planner/Tool-argument/Summarization은 Llama-3-3-70B-instruct를 LiteLLM으로 호출한다. 하드웨어는 Apple M-series 16GB에서 실행되며, 임베딩/랭킹 모델은 FP16으로 동작한다. 이 연구는 MCP-백업 구조와 캐시 계층이 서로 보완적으로 작용해 미스 경로에서도 baseline 대비 빠른 응답을 제공한다.

구현은 단일 머신에서 수행되었고, 메모리 상의 캐시만 사용한다. 파라미터-풍부한 queries에서의 캐시 hit는 여전히 불확실성이 존재하며, Anchored 쿼리의 윈도우 파싱이 잘못되면 캐시 유효성이 저하될 수 있다. 전체 데이터 셋은 152개로 제한되며, 보다 큰 스케일에서의 확장성 검증이 필요하다. 또한 온라인 threshold 재조정과 캐시 지속성(persistence) 및 복구 메커니즘이 추가적으로 필요하다.