PaperPilot: 워크플로 유도로 다중회차 과학 문헌 검색을 수행하는 에이전트

과학적 문헌 검색에서는 사용자의 구체적 선호와 의도가 한 번의 쿼리로 완전하게 표현되지 않는 경우가 많아 반복적 상호작용과 명확화가 필수적이다. PaperPilot는 검색 전략을 편집 가능한 워크플로로 명시화하여 자연어 피드백을 구조적 편집으로 전환함으로써 검색 결과의 관련성과 정렬도를 크게 향상시킨다. 이 접근은 단순한 쿼리 증강이나 고정 파이프라인보다 제어 가능성과 비용 효율성 면에서 우수하다고 평가되었다.

문헌 검색 문제는 입력 쿼리와 앵커 논문만으로는 사용자의 세부 의도를 온전히 포착하기 어렵고, 검색 전략은 인용 방향·최근성·메서드 유사성·응용 도메인 등 세부 선호에 따라 달라진다. 기존 접근은 대체로 자연어 맥락을 암시적으로 취급하거나 고정 파이프라인을 사용해 피드백을 단순 쿼리 확장으로 처리했기 때문에 사용자의 정밀한 의도 반영과 제어가 제한되었다. PaperPilot는 이 문제를 해결하기 위해 검색 연산자 집합을 명시적 워크플로로 조합하는 방식으로 출발한다.

PaperPilot는 PaperPilot-Toolset이라 불리는 타입화된 연산자 라이브러리에서 연산자를 선택하고 파라미터를 설정해 실행 가능한 DAG를 구성한다. 각 연산자 노드의 출력 타입이 다음 노드의 입력 타입과 일치해야 하므로 타입 검사로 불법적 연결을 방지하고 노드별 캐시를 통해 중복 계산을 줄인다. 롤아웃 단계에서 에이전트는 현재 상태(앵커 논문, 질의, 후보 집합, 상호작용 기록)를 바탕으로 DAG를 유도하고 노드 단위로 실행해 중간 후보를 생성한 뒤 사용자에게 결과나 명확화 질문을 제시한다.

주요 회귀 실험에서 PaperPilot-9B는 다중회차 설정에서 Hit@5가 77.0, MRR이 59.4, nDCG@10이 32.5를 달성했고 워크플로 실행 오류율은 0%로 보고되었다. 비교 대상인 Qwen3.5-9B 기반 도구 에이전트는 동일 조건에서 Hit@5 58.0, MRR 47.5, nDCG@10 26.8, 워크플로 오류율 9.5%를 기록해 PaperPilot의 학습 파이프라인이 품질과 안정성에 유의미한 개선을 가져온 것이 확인됐다. 추가로 GPT-5.4 기반 시스템과 비교한 비용·성능 표에서 PaperPilot는 더 작은 모델로도 높은 비용효율을 달성한 사례가 제시되었다.

전체 아키텍처는 입력 컨텍스트(앵커 논문 p0, 사용자 질의 q, 후보 집합, 상호작용 히스토리)를 받아 DAG 유도 모듈이 PaperPilot-Toolset에서 연산자와 파라미터를 선택해 G_t를 생성하는 구조이다. 생성된 DAG는 타입 검사를 통과한 뒤 노드별로 순차 실행되어 중간 후보 집합과 점수, 증거 스니펫을 생성하고 이 결과는 사용자 인터페이스로 노출되거나 명확화 질문 생성에 사용된다. 학습은 두 단계로 진행되어 먼저 교사 모델의 성공 궤적을 이용한 감독학습(SFT)을 수행한 뒤 성공·부적절 워크플로 쌍에 대해 IPO 스타일 DPO로 선호도 최적화를 시행해 편집 안정성과 선호 일치를 강화했다.

PaperPilot는 미리 정의된 심볼릭 연산자 라이브러리에 의존하므로 도메인 특화된 검색 행동이나 사용자별 고유 작업을 완전하게 포괄하지 못할 수 있다. 워크플로 감독 데이터가 교사 모델에 의해 생성되므로 교사 모델의 편향이나 사각지대가 학습 데이터에 전이될 우려가 존재한다. 평가 벤치마크가 주로 컴퓨터 과학 문헌에 집중되어 있어 타학문 분야에서의 일반화 가능성은 추가 검증이 필요하다.