성공 궤적만으로 단계별 실패 원인을 찾는 Oat: Neural CDE 기반의 원클래스 추적

LLM 기반 에이전트 시스템의 실패 원인을 사람 손으로 추적하려면 긴 궤적을 일일이 검토해야 해 비용과 시간이 크게 소요된다. 이 논문은 실패 궤적에 대한 단계별 주석 없이도 성공 궤적만으로 정상 동역학을 학습해 실패 단계의 이상 신호를 자동으로 찾아내는 접근법을 제시하여 진단 비용과 대기 시간을 대폭 줄인다. 계산 비용과 응답 지연이 큰 프롬프트 기반 진단과 달리 Oat는 토큰 비용이 없고 실시간 배포가 가능한 점에서 실무적 가치가 크다.

에이전트 궤적은 이산 이벤트의 나열이지만 내부 표현은 연속적인 목표 지향적 동역학을 반영한다. 각 단계에서 LLM이 생성한 레이어별 은닉벡터를 시간에 따라 보간하면 불규칙 샘플링된 관찰로부터 연속 잠재 경로를 구성할 수 있다. 이러한 연속 경로는 단계 간의 방향성과 속도 정보를 담아 국지적 편차를 민감하게 드러낸다.

먼저 각 단계의 표현 h_t는 해당 단계에서 활성화된 LLM의 특정 레이어 출력(평균 풀링)으로 정의되어, 질의 초기 표현 h_Q와 함께 시퀀스 관찰을 형성한다. 이 관찰들을 unit interval [0,1]로 정규화한 뒤 자연 큐빅 스플라인으로 보간하여 연속 제어 경로 X(u)를 구성한다. Neural ODE는 초기 상태만으로 흐름을 결정해 다양한 성공 패턴을 포착하기 어렵기 때문에 제어 경로의 도함수를 연속적으로 주입하는 Neural CDE를 채택했다.

훈련은 MCP-Atlas의 약 100개 성공 궤적으로 수행되었고 검증과 보정 세트로 일부를 분리했다. In-domain 평가에서 Oat는 탑-k 탐지와 컨포멀 탐지 모두 프롬프트 기반 방법보다 우수한 성능을 보였고, 특히 컨포멀 탐지에서는 정밀도와 F1 균형이 개선되었다. OOD 평가(Who&When)에서도 게이팅을 포함한 Oat는 F1 및 AUPRC에서 프롬프트 방식보다 우수한 결과를 유지했으며, 게이팅은 OOD 성능을 크게 끌어올리는 반면 인도메인에서 소폭 성능 하락을 초래했다.

입력 전처리 단계에서 Qwen3.5-27B의 마지막 레이어 숨겨벡터를 단계별 표현으로 추출한 뒤 평균 풀링을 적용하고 PCA로 차원 축소하여 d_h=64 차원으로 투영했다. 제어 경로는 자연 큐빅 스플라인으로 보간하며 이의 도함수를 계산해 Neural CDE의 입력으로 사용한다. Neural CDE의 벡터필드 f는 히든 차원 64의 3층 MLP로 구현되었고, g1/g2는 잠재 공간 z와 관찰 공간 h의 선형 사영으로 구성되었다.

훈련에 사용된 성공 궤적 수가 100개 내외로 실험에서 좋은 결과를 냈지만 더 다양한 도메인에서의 일반화 범위는 추가 데이터로 검증할 필요가 있다. 게이팅은 OOD 성능을 개선하는 대신 일부 인도메인 지표에서 소폭 성능 감소를 초래하는 트레이드오프가 존재하며, 이 영향은 애플리케이션 요구에 따라 보정해야 한다. 또한 표현 추출은 특정 프록시 모델(Qwen3.5-27B)에 의존하므로 다른 프록시를 사용할 경우 표현 설계와 투영 방식(PCA 등)을 재검토해야 한다.