Answer-Backtracked Credit Assignment(ABC) 기반 ABSeeker

장기 탐색 과제에서는 최종 정답만으로 학습하면 중간 단계의 유효성과 오류를 구분할 수 없어 잘못된 행동이 강화되거나 유용한 행동이 약화된다. ABSeeker는 정답에서 역추적해 검증 가능한 단서를 만들고 이를 기준으로 각 단계에 밀집 보상을 부여해 실패 궤적에서도 유용한 탐색을 강화하고 성공 궤적의 오류를 억제한다. 이러한 절차 감독은 같은 모델 규모에서 검색 정확도와 탐색 깊이를 동시에 끌어올려 대규모 모델에 준하는 성능을 얻을 수 있게 한다.

검색 문제는 최종 정답이 주어지면 그 정답과 질의를 잇는 중간 증거 경로가 존재한다는 성질을 가진다. 이 논문은 정답에서 출발해 필요한 중간 엔티티·사실·관계를 역추적해 검증 가능한 단서 집합을 만든 뒤, 각 전진 탐색 단계가 해당 단서를 발견·검증·배제하는지를 기준으로 점수를 부여하는 방법을 사용한다. 단계별 점수는 궤적 전체의 성공 여부와 무관하게 동작을 평가하므로 실패 궤적의 유효한 탐색도 강화되고 성공 궤적의 오류는 억제되며, 결과적으로 단계 단위의 세밀한 학습 신호로 정책을 효과적으로 조정할 수 있다.

전체 파이프라인은 두 단계로 구성된다. 첫째, Answer-Backtracked Clue Recovery 단계에서 LLM(DeepSeek-V4-Flash 백본)을 동일한 도구 호출 프로토콜로 웹을 재탐색하면서 질의와 검증된 정답을 연결하는 중간 단서를 찾아 실제 웹 근거로 검증해 단서 집합 C를 생성한다. 둘째, Clue-Anchored Step Scoring 단계에서 각 단계 s_t의 추론·도구 호출·응답과 단서 집합 C를 입력으로 받아 기본 점수 1.0에 표(Table 1)에 정의된 델타를 누적하고 다음 식으로 클리핑해 단계 보상 r_t를 산출한다: $r_t=\operatorname{clip}\big(1.0+\sum_{j\in\mathcal{A}_t}\Delta_j,\,0,\,2.0\big)$. 산출된 r_t는 ABC-SFT의 가중치 및 ABC-GRPO의 단계별 보상으로 직접 사용되며 SFT-가중치 매핑은 $w(r_t)=\sigma(\alpha\cdot(r_t-\beta))$ 형태로 처리되어 고득점 단계의 손실 기여도를 증가시킨다. 이후 RL 단계에서는 각 궤적 그룹 내 보상을 정규화하고 할인계수 γ를 적용해 단계별 advantage를 계산한 뒤(도구 응답은 옵티마이즈에서 마스킹) GRPO로 업데이트한다.

ABSeeker는 Qwen3.5-4B 백본으로 8.5K 궤적 SFT와 ABC-GRPO를 거쳐 BrowseComp에서 문맥 관리 없이 37.3%를, 문맥 관리 적용 시 55.3%를 기록했고 BrowseComp-ZH는 39.1%에서 52.9%로 향상했다. xbench-2505에서 77.0%, xbench-2510에서 46.0%, GAIA-text에서 81.6%를 달성해 동일 규모(4B) 대비 최고 성능을 보였고 일부 ∼30B 에이전트와도 경쟁 가능한 결과를 얻었다. 분석 지표로는 단계 보상 분포에서 실패 궤적의 약 10% 단계가 r_t>1.0으로 유용한 탐색을 포함함이 드러났고, RL 학습에서는 ABC-GRPO가 표준 GRPO보다 학습 초반부터 점수와 평균 탐색 턴 수를 동시에 증가시켜 더 긴 탐색과 높은 정확도를 달성했다.

훈련 데이터와 구성은 논문 본문에 명시된 대로 Qwen3.5-4B를 백본으로 사용하고 SFT는 8.5K 궤적에 대해 3 epoch로 수행했으며, RL 단계에서는 검증 질문 1,000개에 대해 각 8개의 롤아웃을 샘플링했다. 단계 점수 산출은 표의 델타 집합을 합산해 기본 1.0에 더하고 $r_t=\operatorname{clip}(1.0+\sum\Delta,0,2.0)$로 클리핑하는 방식이며 예컨대 두 개의 +0.8 보상이 누적되면 1.0+1.6=2.6이 되어 2.0으로 클리핑된다. ABC-SFT의 손실은 단계별 토큰 로그확률에 가중치 $w(r_t)=\sigma(\alpha(r_t-\beta))$를 곱해 합산하는 형태로 주어지며 w의 sharpness α와 기준 β로 고득점 단계의 기여도를 조절한다. RL 단계에서는 롤아웃 그룹 내에서 보상 정규화를 거쳐 할인계수 γ로 $A_{i,t}=\sum_{k=t}^{T_i}\gamma^{k-t}\widehat{R}_{i,k}$를 계산하여 토큰 단위로 할당한 뒤 GRPO의 클리핑된 objective로 업데이트하며, 환경 제공 도구 응답 토큰은 최적화에서 마스크된다. 실험상의 운영 제한으로 궤적 최대 단계 수는 200이며 문맥 관리는 최대 256K 토큰과 최대 5회 discard-all 전략으로 수행되었다.

실험은 연산 제약으로 4B급 모델에서만 실시되어 대형 모델에 대한 확장성 검증은 남아 있다. 또한 이 접근법은 정답이 고유하고 검증 가능한 벤치마크에서 잘 작동하도록 설계되어, 정답이 모호하거나 검증 불가능한 문제에는 단서 역추적이 어려울 수 있다. 답변 역추적과 단계 점수 판정은 추가 LLM(DeepSeek-V4-Flash)에 의존하므로 그 자체의 오류가 전체 보상 품질에 영향을 줄 수 있으며 이러한 외부 스코어러의 편향·오류 분석이 추가로 필요하다.