LLM 에이전트는 Reasoning 없이도 언제 도구를 호출해야 하는지 이미 알고 있다

대형 언어 모델 기반의 에이전트가 도구 호출 여부를 미세하게 조정하지 못하는 현상을 분석한다. WHEN2TOOL은 18개의 환경에서 도구 필요성의 결정 경계와 난이도를 제시하고, Prompt-only와 Reason-then-Act의 한계를 통해 어떤 상황에서 도구 호출이 불필요한지 파악한다. 숨겨진 표현(representation)에서 도구 필요성 신호가 선형적으로 해독 가능하다는 사실을 밝히고, 이를 활용한 PROBE&PREFILL이 도구 호출을 실질적으로 감소시키는 방법을 제시한다.

WHEN2TOOL은 도구 필요성 판단이 은닉 상태에서 선형적으로 디코딩 가능하다는 발견에서 출발한다. Probe은 이 신호를 읽어 도구 필요 여부를 예측하고, Prefill은 그 예측에 따라 모델의 응답을 미리 정렬하는 방식으로 동작한다. Prompt-only와 Reason-then-Act의 성능 한계는 모델이 내부적으로 필요 정보를 알고 있음에도 텍스트 생성 과정에서 이를 충분히 활용하지 못하는 데서 기인하며, 이 문제는 선형 프로브와 간단한 프리필링으로 개선 가능하다. 실험적으로 Probe&Prefill은 Easy/Medium/Hard 전 영역에서 Baseline 대비 더 나은 정확도-도구 호출 트레이드오프를 제공하고, multi-hop 환경에서도 75% 이상의 도구 호출 감소와 높은 정확도를 달성한다.

• Step 1: Last hidden state를 추출한다. Prompt 인코딩 단계에서 마지막 토큰 위치의 은닉 상태를 얻는다.
• Step 2: Linear Probe를 적용해 도구 필요성 확률 p를 계산한다. p가 임계값 τ 이상이면 도구 필요로 판단한다.
• Step 3: Prefill을 삽입한다. p < τ 이면 'I can solve this directly without using a tool.'를, p ≥ τ 이면 'I need to use a tool for this question.'를 출력 앞에 추가하고 생성한다.
• Threshold τ는 정확도-도구 호출 간의 거래를 미세하게 조정하는 매개변수로 작용한다. Soft prefill과 Hard prefill의 차이를 실험한다.
• Inference 오버헤드는 은닉 상태 추출 및 선형 프로브 계산으로 한정되며, 전체 파이프라인에 추가적인 forward pass를 필요로 하지 않는다. 평균적으로 전체 오버헤드는 <1ms이다.

주요 벤치마크: Prompt-only 및 Reason-then-Act 대비 PROBE&PREFILL은 모든 모델에서 도구 호출을 감소시키면서도 테스트 세트에서 전체 정확도를 유지하거나 향상시킨다. Qwen 계열에서 τ=0.5일 때 Easy/Medium에서 Acc 88.3–89.0, Avg Tool Calls 2128–1309 범위의 성능을 보이며, Hard에서의 손실은 최소화된다. Multi-hop에서는 Qwen3-4B에서 도구 호출을 75% 줄이면서도 Acc 85.3%를 달성하고, Llama 계열은 Reason-then-Act에서 도구 호출이 급감하는 경향을 보이나 정확도 저하가 크게 나타난다. PROBE&PREFILL은 Easy에서 −1.6, Hard에서 −3.4의 평균 Acc/∆TC 손실비로 가장 낮은 손실비를 보이며, 데이터 효율성도 양호하다. 또한 In-distribution 및 Out-of-distribution 일반화에서도 안정적으로 작동한다.

아키텍처: WHEN2TOOL은 18개 환경(15 single-hop, 3 multi-hop)으로 구성되며, 각 환경은 three categories of tool necessity(A: Can I compute this? / B: Do I know this? / C: Can I execute this reliably?)와 Easy/Medium/Hard의 난이도를 가진다. 실험 설정은 Prompt-only 및 Reason-then-Act의 성능 비교를 포함하며, 각 모델(Qwen3-1.7B, Qwen3-4B-Instruct, Qwen3-14B, Qwen3-32B, Llama-3.1-8B, Llama-3.3-70B)의 3회 실행 평균으로 보고한다. Hidden state 분석은 마지막 토큰의 은닉 상태 배열을 수집하고, 이를 L2-정규화된 로지스틱 회귀에 입력해 도구 필요성을 예측한다. AUROC는 0.89–0.96으로 모델 규모에 관계없이 일관된 신호를 확인한다. PROBE&PREFILL은 Probe의 예측 확률 p를 바탕으로 임계값 τ를 조정해 tool-call budget을 제어한다. Soft prefill은 자연어 Steering 문장을 삽입하고, Hard prefill은 출력 형식을 강제한다. Inference overhead은 <1ms로 측정되며, 전체 파이프라인에 대한 추가 forward pass 없이 Hidden state 추출과 프로브 계산만 필요하다. Multi-hop 실험에서 AUROC은 0.804–0.966 범위이며, PROBE&PREFILL은 3-hop 태스크에서도 강한 성능을 보인다. SFT와의 비교에서 PROBE&PREFILL은 학습 없이도 TC 감소를 안정적으로 달성하며, SFT는 정확도 향상이 있어도 도구 호출 감소를 일관되게 달성하지 못한다.