검색 에이전트가 질문해야 할 때: 명확화 인지 심층 검색을 위한 DiscoBench

다단계 검색에서는 초기 질의의 작은 모호성이 연쇄적 오류로 이어져 잘못된 탐색 경로에 많은 계산 자원을 낭비한다. DiscoBench는 이러한 상황에서 에이전트가 모호성을 인식하고 사용자로부터 구체적 단서를 요청하여 올바른 추론 경로를 회복하는 능력을 평가할 수 있게 한다. 벤치마크 평가 결과는 현재 LLM 기반 검색 에이전트가 모호성 탐지와 효과적 명확화에서 일관된 한계를 보인다는 점을 밝혔다.

대규모 언어 모델 기반 검색 에이전트는 복잡한 정보 탐색에서 다단계 검색과 연속적 추론을 수행할 수 있으나, 초기 질의에 존재하는 모호성은 다음 단계의 검색 질의와 증거 통합 과정에 연쇄적으로 영향을 미쳐 잘못된 결과로 이어질 수 있다. 본 논문은 모호성을 정적 속성이 아닌 검색 궤적 상에서 발생하는 동적 현상으로 규정하여 각 중간 체크포인트에서의 불확실성을 탐지하는 문제로 출발했다. 모호한 체크포인트는 검색 결과가 여러 후보를 반환하거나 유효한 결과를 반환하지 못하는 상황으로 정의되며, 이때 에이전트는 단순히 추가 검색을 반복할지 아니면 사용자에게 명확화 질문을 요청할지를 판단해야 한다.

이 논문의 해결 원리는 체크포인트 분해와 명확화-기반 상호작용을 결합하는 것이다. 질문 q는 순서화된 체크포인트 집합으로 분해되며 각 체크포인트에서 에이전트는 Search, Ask, Answer 중 하나의 행동을 선택한다. 에이전트가 Ask를 선택하면 사용자 시뮬레이터는 사전 생성된 판별적 사실을 점진적으로 공개하고, 에이전트는 이를 바탕으로 검색 쿼리를 재정교화하여 올바른 후보를 식별한 뒤 Answer를 제출한다.

이 접근은 단순히 검색량을 늘리는 방식과 구별된다. 반복적인 Search만으로는 후보군 간 불확실성을 제거하지 못해 SearchHeavyGuess 패턴이 종종 DirectGuess보다 낮은 성공률을 보였다. 반대로 명확화 질문을 적시에 수행한 SearchThenAsk 패턴은 체크포인트 패스율과 전체 성공률을 크게 개선하여 모호성 여부의 탐지와 효과적 질문 설계가 별도의 능력임을 보여주었다.

전체 접근 방식은 두 단계의 데이터 구축 파이프라인과 명확화 중심의 평가 프로토콜로 구성되었다. Phase 1에서는 주제 수집과 단일-홉 QA 생성을 통해 다중 홉의 Seed 데이터를 확보했으며 LLM 기반의 예비 확장과 인간 검수를 결합하여 다중 홉 추론 체인을 구조화했다. Phase 2에서는 체크포인트 식별 절차를 통해 모호성을 주입할 위치를 선정하고 후보 엔티티의 공통 속성을 이용해 질문을 재작성하여 여러 후보가 성립하도록 만들었다.

모호성 주입 후에는 판별적 사실을 생성하여 사용자 시뮬레이터가 제공할 단서를 구성했다. 판별적 사실은 엔티티 속성, 시간 정보, 관계, 수치적 차이 등 다양한 관점에서 검색-증강 LLM을 통해 생성되었고 인간 검증자를 통해 사실성·판별성·자연어성 기준으로 필터링되었다. 평가 프레임워크는 네 가지 관점으로 지표를 수집했으며 구체적으로 end-to-end accuracy, checkpoint pass rate, detection accuracy/F1, clarification evaluation(질문 품질과 clarification-to-advance 비율), 그리고 비용 지표(평균 Ask 턴, 툴 사용 횟수, 토큰 소비)를 포함한다.

실험 설정에서는 중립적(Neutral)과 유도된(Guided) 프롬프트 조건을 비교하여 모델의 자발적 모호성 탐지 능력과 명시적 유도 시의 상한 성능을 각각 관찰했다. 모든 Search 호출은 Tavily 백엔드를 사용하여 외부 검색 증거를 확보했으며 시뮬레이터 모델로는 Gemini-3-Flash-Medium을 채택하여 점진적 단서 공개 정책을 재현했다.

주요 벤치마크 결과는 전체적인 난이도가 높음을 보여주었다. 중립 프롬프트 조건에서 최고 모델인 Doubao-Seed-2.0-Pro는 43.1%의 end-to-end 정확도를 기록했고 대부분의 모델은 40% 미만 성능을 보였다. 체크포인트 패스율과 최종 정확도 사이에는 명확한 격차가 존재하여 중간 단계는 통과하나 최종 궤적 복구에 실패하는 경우가 빈번했다.

유도된 프롬프트는 모호성 탐지 지표에 유의미한 향상을 가져왔지만 엔드-투-엔드 성능 향상은 제한적이었다. 평균적으로 Detection F1은 45.3%에서 64.9%로 개선되었으나 추가 상호작용이 항상 전체 성공률로 연결되지는 않았다. 일부 모델은 체크포인트 패스율은 상승했지만 최종 정확도는 오히려 소폭 하락하는 사례가 관찰되어 로컬 상호작용의 증대가 전역적 추론 복구로 직결되지 않음을 나타냈다.

도구 의존성 및 제거 실험에서도 중요한 통찰이 도출되었다. 외부 검색 도구를 제거하면 모든 모델 성능이 크게 하락했으며 예컨대 Doubao-Seed-2.0-Pro는 43.1%에서 2.4%로 급락했다. 또한 모호성이 제거된 질문으로 바꾸면 모든 모델이 26.8%~40.2% 포인트 범위로 성능이 향상되어 모호성이 해당 작업의 주요 난이도 요인임이 확인되었다.

데이터셋 구조는 각 질문을 순차적 체크포인트 집합으로 분해하여 각 체크포인트마다 Unambi 또는 Ambi 플래그를 부여하는 방식으로 설계되었다. Ambi 체크포인트에는 네 가지 모호성 유형이 주입되며 각 모호성은 후보 엔티티 집합과 판별적 사실 집합으로 명세된다. 판별적 사실은 검색-증강 LLM이 후보의 공통 속성을 추출한 뒤 인간 검수를 거쳐 최종 단서로 사용된다.

평가 파이프라인은 체크포인트 수준 평가기와 다회차 상호작용 환경을 결합하여 에이전트 행동의 시퀀스를 기록한다. 지표 산정은 체크포인트 패스율 산출, 모호성 탐지 정확도 및 F1, 명확화 질문의 정밀도(CE-A)와 clarification-to-advance 비율(CE-B), 그리고 평균 Ask 턴 및 토큰 소비량이라는 비용 지표를 포함한다. 모든 Search 호출은 Tavily 백엔드를 사용하여 외부 증거를 확보하고, 시뮬레이터로는 Gemini-3-Flash-Medium을 사용하여 일정한 단서 공개 정책을 적용했다.

실험군에는 Claude-Opus-4.7, GPT-5.4, Gemini-3.1-Pro-Preview 등을 포함한 다수의 상용·연구용 LLM이 포함되었고 각 모델은 최대 사용 가능한 reasoning-effort 설정으로 평가되었다. 중립과 유도 프롬프트 두 조건을 통해 자발적 모호성 인식 능력과 프롬프트 유도로 활성화되는 상한 성능을 비교 분석했다.

DiscoBench는 네 가지 대표적 모호성 유형(Entity, Version, Criteria, Factual Inaccuracy)에 집중하였으므로 주관적 선호나 감정 기반의 복잡한 모호성 유형은 포함되지 않았다. 사용자 시뮬레이터가 LLM 기반으로 동작하기 때문에 실제 인간 사용자와 비교했을 때 상호작용의 다양성·노이즈·예측 불가능성을 완전히 재현하지 못할 가능성이 있다. 데이터 구축과 평가 절차는 공개 웹 자원을 활용했으나 시뮬레이터 기반 상호작용 한계로 인해 인간 중심의 추가 검증이 필요하다.