학습 과제로서의 미래 행동 예측

왜 중요한가

LRM이 길고 확률적인 reasoning trajectory를 생성할 때, 모델의 재현성이나 입력 부분의 인과적 기여를 직접 측정하기는 비용이 크거나 표면 텍스트로는 불가능하다. 본 논문은 단일 관찰 궤적을 입력으로 하는 경량 예측기를 학습해 전통적 재샘플링보다 훨씬 적은 추론비용으로 더 정확한 per-input 행동 예측을 제공한다.

핵심 기여

Behavior forecasting을 감독학습 문제로 재정의

모델의 미래 행동 통계를 예측하는 작업을 단일 관찰된 reasoning trajectory를 입력으로 하는 회귀 문제로 정의하고, 레이블은 타깃 LRM을 여러 번 실행한 결과로 자동 생성했다(사람 라벨 불필요).

Behavior Forecaster 아키텍처 설계

타깃 LRM의 백본으로 초기화한 모델을 사용하고, counterfactual sensitivity에는 prompt-echo + per-token MLP, rerun consistency에는 learned-query cross-attention pooling + MLP 헤드를 결합해 각 타깃을 직접 예측하도록 설계했다.

강력한 실험적 성능 및 비용 우위

세 가지 reasoning 데이터셋에서 학습한 Behavior Forecaster가 동일한 궤적을 'naive'하게 읽은 GPT-5.4·Claude Opus 4.6보다 Spearman 상관에서 우수했고(Qwen3.5-2B의 예: counterfactual 0.653 vs 0.417/0.522, rerun 0.740 vs 0.224/0.267), 추론 비용은 독자 대비 1/10,000 미만 수준으로 보고했다.

아키텍처·학습 중요성 규명

백본을 타깃 LRM으로 초기화하고 백본을 end-to-end로 미세조정하는 것이 성능에 필수적이며, 추론 입력 배열(prompt/reasoning/answer 순서 또는 prompt-echo)이 작업별로 성능 차이를 만들었다.

도메인·타깃 전이 가능성

같은 데이터셋 군 내에서는 무파인튜닝 제로샷 전이가 가능했고(예: FEVEROUS 수치 부분), 서로 다른 데이터셋 간에는 최대 ∼600 steps의 적응으로 성능을 회복했다. 또한 counterfactual 모델에서 hint-sensitivity 타깃으로 전이 시 우수한 성능을 보였다.

핵심 아이디어 이해하기

문제 출발점과 기존 한계: LRM은 긴 reasoning trajectory를 생성하며 많은 내부 계산이 이 궤적에서 펼쳐진다. 기존의 행동 예측 수단은 두 가지 문제를 가진다. (1) 궤적을 자연어로 'naive'하게 읽는 방법은 궤적의 표면 텍스트가 실제 내부 계산을 충실히 반영하지 않을 때(omission, semantic mismatch) 잘못된 예측을 만든다. (2) 재샘플링 기반 레이블링(여러 번 rerun/perturbation)은 배포 시점에 매 입력마다 적용하면 계산비용이 기하급수적으로 커진다.

방법론

전체 접근과 핵심 아이디어: 관찰된 단일 궤적 τ=(P,R,A)를 입력으로 받아 타깃 LRM M의 미래 행동 통계 b(M,P,A)를 회귀로 예측하는 Behavior Forecaster를 학습한다. 레이블 생성은 오프라인에서 타깃 LRM을 여러 번 실행해 얻고(각 프롬프트 당 10회 실행, perturbation 당 10회), 이 레이블을 사용해 Forecaster를 지도학습한다. 배포 시에는 하나의 전방 전달(forward pass)만으로 예측이 가능해 비용이 크게 절감된다.

주요 결과

주요 벤치마크 결과: Behavior Forecaster가 GPT-5.4 및 Claude Opus 4.6 같은 대형 독자(naive readers)를 동일한 관찰 궤적 입력으로 읽는 방식보다 높은 Spearman 상관을 달성했다. 예로 Qwen3.5-2B 대상에서 counterfactual sensitivity Spearman 0.653(Behavior Forecaster) 대 0.417(GPT-5.4)·0.522(Claude Opus 4.6), rerun consistency 0.740 대 0.224·0.267이다. 또한 단일 위치 기반 프로브(attention attribution, final-answer likelihood)는 무작위보다 유의미하나 실용적이지 않을 정도로 약했다(예: OLMo에서 0.160, 0.129 수준).

기술 상세

전체 아키텍처 구조: Behavior Forecaster의 backbone은 타깃 LRM과 동일한 autoregressive decoder 아키텍처로 초기화된다. 입력은 작업에 따라 다르게 구성된다: counterfactual sensitivity는 P–R–A–P(prompt-echo) 배치, rerun consistency는 P–R–A 배치. 백본 출력 위에 작업별 prediction head를 붙인다.

한계점

논문에서 명시한 한계: (1) OOD 작업에 대한 일반화 역량이 제한적이며, 더 광범위한 작업 풀로 학습시키려면 레이블 수집 비용(각 예제별 다수의 타깃 LRM 실행)이 매우 높다. (2) 향후 더 'faithful'한 reasoning을 생성하는 LRM이 등장하면 naive reading과의 격차가 줄어들 가능성이 있다.

실무 활용

실무에서, Behavior Forecaster는 재샘플링 비용을 회피하면서 per-input 신뢰도(재실행 일관성)나 입력 세그먼트의 중요도(반사실 민감도)를 빠르게 추정하는 용도로 사용 가능하다. 레이블 생성에 타깃 LRM을 다수 실행해야 하므로 초기 데이터 수집 비용은 크나, 배포 추론 비용은 매우 낮다.

실시간 라우팅: 불안정한 응답을 보인 쿼리를 사람 검토나 보수적 파이프라인으로 라우팅
대규모 감시·테스트 파이프라인: 모든 쿼리에 대한 resampling 없이 입력별 민감도 통계 수집
디버깅·모델 분석: 어떤 프롬프트 세그먼트가 답변에 기여했는지 빠르게 식별
알림·거부 정책: 재실행 일관성이 낮으면 자동 응답 대신 안전한 대체 행동 실행

코드 공개 여부: 공개

코드 저장소 보기

키워드

behavior forecasting(행동 예측)reasoning trajectory(추론 궤적)rerun consistency(재실행 일관성)counterfactual sensitivity(반사실 민감도)end-to-end fine-tuning(종단간 파인튜닝)prompt-echo(프롬프트 에코)

용어 해설

추론 궤적(Reasoning trajectory): — 모델이 최종 답변을 생성하기까지 출력한 중간 토큰들의 연속이다. 프롬프트와 중간 reasoning 토큰, 최종 Answer를 포함하며, 이 논문에서는 단일 실행에서 관찰된 궤적 τ=(P,R,A)를 입력 데이터로 사용해 미래 행동을 예측하는 목적 변수로 매핑한다. 궤적은 자연어처럼 보이나 내부 계산을 충실히 반영하지 않을 수 있다.
재실행 일관성(Rerun consistency): — 같은 프롬프트 P에 대해 모델 M을 다시 실행했을 때 동일한 추출된 답변 A가 나올 확률이다. 논문에서는 한 실행의 관찰된 답변 A에 대해 다른 실행들이 같은 답변을 내는 비율을 레이블로 사용해 회귀 타깃으로 학습시켰다.
반사실 민감도(Counterfactual sensitivity): — 프롬프트의 특정 부분 s를 제거했을 때 모델이 관찰된 답변 A를 계속 생성할 확률이 얼마나 감소하는지를 측정한 값이다. 각 세그먼트별로 제거 전후의 답변 생성률 차이를 [0,1]로 정규화해 토큰/세그먼트 단위 예측 레이블로 사용한다.
프롬프트 에코(Prompt-echo): — autoregressive decoder 백본에서 프롬프트 위치로 예측을 두려면, 관찰된 trajectory 뒤에 프롬프트를 복사해 붙이는 입력 배치 방식이다. 이렇게 하면 echoed prompt 토큰 위치의 예측 헤드가 reasoning과 answer에 접근할 수 있다.
교차-어텐션 풀링(Cross-attention pooling): — 가변 길이의 히든 상태를 고정 길이 표현으로 요약하기 위해 학습된 쿼리 벡터들이 궤적 위치들을 키/값으로 삼아 어텐션을 수행하고 가중합을 만들어내는 기법이다. 이 결과를 MLP에 전달해 하나의 스칼라 rerun-consistency 예측을 얻는다.