Trace2Skill: 실행 궤적의 국소적 교훈을 전이 가능한 에이전트 기술로 증류하기

기존 LLM 에이전트는 새로운 환경에 적응하기 위해 수동으로 지침을 작성하거나 복잡한 파인튜닝이 필요했습니다. 이 논문은 에이전트가 스스로 자신의 실패와 성공 사례를 분석해 '기술 명세서'를 자동 생성하고, 이를 다른 모델이나 새로운 작업에도 즉시 적용할 수 있는 효율적인 프레임워크를 제시합니다.

기존 LLM 에이전트는 과거 경험을 단순히 메모리에 저장하고 유사한 상황에서 검색(RAG)해오는 방식에 의존했습니다. 하지만 이는 단편적인 경험에만 의존하여 일반화된 규칙을 도출하기 어렵고, 검색된 정보가 현재 맥락과 맞지 않을 때 성능이 저하되는 한계가 있었습니다.

Trace2Skill은 인간 전문가가 수많은 사례를 검토한 뒤 하나의 종합적인 가이드라인(SOP)을 작성하는 과정을 모방합니다. 에이전트가 수행한 수백 개의 실행 궤적(Trajectory)을 한꺼번에 분석하여, 공통적으로 발생하는 오류 패턴이나 성공의 핵심 요인을 귀납적으로 추출하고 이를 '기술(Skill)'이라는 선언적 문서로 압축합니다.

이 과정에서 개별 궤적에만 특화된 지엽적인 정보는 걸러지고, 여러 상황에서 반복적으로 유효함이 증명된 원칙들만 남게 됩니다. 결과적으로 에이전트는 매번 과거 기억을 뒤질 필요 없이, 잘 정리된 매뉴얼을 시스템 프롬프트처럼 참조하여 복잡한 도메인 지식을 즉각적으로 활용할 수 있게 됩니다.

프레임워크는 궤적 생성, 병렬 패치 제안, 충돌 없는 통합의 3단계로 구성된다. 1단계에서는 초기 기술(S0)을 가진 에이전트가 다양한 과제를 수행하며 성공(T+)과 실패(T-) 궤적 풀을 생성한다.

2단계에서는 전문 분석가 에이전트들이 각 궤적을 독립적으로 분석한다. 성공 분석가(A+)는 정답에 기여한 패턴을 식별하고, 오류 분석가(A-)는 ReAct 방식의 루프를 통해 실패의 근본 원인을 파악한 뒤 기술 수정을 위한 '패치(Patch)'를 제안한다. [개별 궤적 데이터 입력 → 분석가 에이전트 연산 → 기술 수정 패치 출력 → 특정 상황에 대한 개선안 확보]

3단계에서는 수집된 모든 패치를 계층적으로 병합한다. 귀납적 추론(Inductive Reasoning)을 통해 여러 패치에서 공통적으로 나타나는 '우세한 패턴'을 우선시하고, 동일한 라인을 수정하려는 충돌을 프로그래밍 방식으로 해결하여 최종 기술(S*)을 완성한다. [다수의 독립 패치 입력 → 계층적 병합 및 중복 제거 연산 → 통합 기술 디렉토리 출력 → 일반화된 도메인 SOP 완성]

스프레드시트 도메인(SpreadsheetBench) 실험 결과, Qwen3.5-122B 모델에서 Trace2Skill로 강화된 기술은 인간이 작성한 가이드라인 대비 성능을 크게 향상시켰다. 특히 오류 분석가와 성공 분석가를 모두 활용했을 때 가장 높은 성능 개선을 보였다.

모델 간 전이성(Transferability) 실험에서 Qwen3.5-35B 모델이 자신의 궤적을 분석해 만든 기술을 122B 모델에 적용했을 때, WikiTableQuestions 데이터셋에서 성능이 57.65%p(절대 수치) 상승했다. 이는 추출된 기술이 특정 모델의 특성에 매몰되지 않고 범용적인 논리를 담고 있음을 입증한다.

수학적 추론(AIME 2026) 및 시각적 질의응답(DocVQA) 도메인에서도 일관된 성능 향상을 확인했다. 특히 DocVQA에서는 122B 모델이 생성한 기술이 35B 모델의 정확도를 13.6%p 향상시키며 멀티모달 환경에서의 유효성도 확인됐다.

기술(Skill)은 마크다운 형식의 루트 문서(SKILL.md)와 실행 가능한 스크립트, 참조 자산들로 구성된 구조화된 디렉토리 형태를 취한다. 이는 에이전트가 추론 시 시스템 프롬프트에 삽입하거나 필요할 때 도구를 통해 참조할 수 있는 선언적 지식 베이스 역할을 한다.

오류 분석가(Error Analyst)는 단순한 LLM 호출이 아니라, 파일 시스템 접근 및 실행 결과 확인이 가능한 ReAct 스타일의 에이전틱 루프로 구현되어 실패 원인을 엄격하게 검증한다. 반면 성공 분석가는 효율성을 위해 단일 패스 워크플로우를 사용하여 성공 패턴을 식별한다.

병합 연산자(M)는 동일한 LLM을 사용하여 패치들을 통합하며, '우세 패턴 편향(Prevalent pattern bias)' 원칙에 따라 여러 궤적에서 반복 관찰된 수정을 체계적인 속성으로 간주하여 우선 반영한다. 이는 지엽적인 과적합(Overfitting)을 방지하는 핵심 메커니즘이다.

전체 파이프라인은 외부 교사 모델 없이 자기 자신(Self-contained)의 분석만으로 기술을 진화시킬 수 있도록 설계되었다. 이는 35B와 같은 상대적으로 작은 모델에서도 견고한 기술 진화가 가능함을 보여준다.

현재 패치들은 총체적으로 통합되므로 개별 수정 사항이 최종 성능에 미치는 기여도를 분리하여 측정하기 어렵다. 또한 추론 시 에이전트가 생성된 기술 디렉토리의 어느 부분에 얼마나 의존하는지 동적으로 추적하는 메커니즘이 아직 구현되지 않았다.