LLM 추론 트레이스의 인지적 에피소드가 인간 문항 난이도 예측에 미치는 해석 가능 영향

문항 난이도 추정에 기존 텍스트 기반 접근은 아이템 내용만을 고려하여 문제풀이 과정의 부담을 반영하지 못했다. 대형 Reasoning Model(LRM)의 추론 트레이스는 문장 단위의 과정 신호를 대규모로 제공하므로 이를 구조화하면 인간 난이도와 연관된 문제풀이 패턴을 포착할 수 있다. 본 연구는 트레이스를 인지적 에피소드로 추상화하여 예측 정확도와 과정 기반 해석성을 동시에 향상시켰다.

문항 난이도는 단순히 문장 텍스트의 정적 속성으로 환원되기 어렵고, 문제풀이 과정에서 유발되는 인지적 부담의 양과 구조에 의해 결정될 수 있다. LRM이 생성하는 추론 트레이스는 인간의 직접적 인지 관찰이 아니지만 문장 단위로 분해하여 기능적 에피소드로 재구성하면 문제풀이 동역학의 대규모 근사 신호가 된다. 이 신호를 요약된 통계(길이, 에피소드 분포, 전이 빈도)로 압축하면 노이즈를 줄이면서도 과정 수준의 예측성을 유지할 수 있다.

본 논문은 이 직관을 실행 가능하도록 구체화했다. 먼저 ThinkARM 주석을 통해 문장-에피소드 분류기를 학습하여 모든 LRM 롤아웃을 문장 단위 에피소드 시퀀스로 매핑했다. 그런 다음 각 아이템에 대해 토큰 길이, 에피소드별 토큰 합계 및 비율, 그리고 인접 에피소드 전이 횟수를 집계하여 83차원의 episode-induced process representation을 구성했다. 이 표현은 문항의 Sentence-BERT 임베딩과 결합되어 downstream 분류·회귀 모델에 투입되었다.

핵심 직관은 난이도 신호가 세 축으로 나뉜다는 것이다. 길이는 문제풀이의 전반적 규모를 포착하고, 에피소드 분포는 어느 기능에 계산 예산이 집중되는지를 보여주며, 전이 행렬은 국지적 흐름과 반복적 정교화를 드러낸다. 특히 어려운 문항은 단순히 전체 길이만 증가시키지 않고 Implement 중심의 집중과 Analyze↔Implement의 반복 전이를 통해 구현·검증의 순환을 더 자주 발생시키는 패턴을 보였다.

전체 접근은 네 단계로 구성된다. 첫째, LRM(QwQ-32B, Qwen3-32B 등)을 추론 모드로 구동하여 각 문항에 대해 정형화된 reasoning rollout들을 수집했다. 둘째, 수집된 롤아웃을 문장 단위로 분절하고 RoBERTa 기반의 에피소드 분류기를 적용하여 Read·Analyze·Plan·Implement·Explore·Verify·Monitor·Answer의 8개 라벨을 부착했다. 셋째, 문장-에피소드 시퀀스에서 토큰 길이, 에피소드별 토큰 합계 및 비율, 그리고 인접 에피소드 bigram 전이 카운트로 구성된 83차원 episode-induced process representation을 계산했다. 넷째, 문항 텍스트는 Sentence-BERT로 임베딩하여 과정 피처와 연결한 뒤 XGBoost 등 분류·회귀 모델을 훈련하여 난이도를 예측했다.

에피소드 분류기 학습과정은 ThinkARM 데이터(231,913 문장-에피소드 쌍)를 사용했다. 학습된 분류기는 인간 검증 골드셋에서 정확도 0.799, macro-F1 0.761을 기록하여 자동 라벨링 신뢰도를 확보했다. 롤아웃 집계 시에는 'think'와 'answer' 구간을 구분하여 총 토큰 길이, 생각 부분 길이, 답안 부분 길이의 세 길이 특성을 분리하였다. 전이 특성은 8×8 bigram 카운트 행렬을 평탄화하여 64차원으로 추가하였고, 전처리 단계에서 반복 라벨의 축적·중복 제거 등 여러 설계를 비교하여 raw adjacent bigram counts가 최적 균형을 보인다는 결론을 얻었다.

다중 프로필 집계 전략을 도입하여 LRM에게 direct, weak, medium, strong 역할을 부여하고 각 프로필에서 생성된 과정 표현을 평균 풀링하여 최종 프로세스 표현을 얻었다. 이 역할 기반 집계는 단순 복제 샘플링과 동일한 수의 롤아웃을 사용한 통제 실험에서 더 큰 성능 향상을 보였으므로 단순 수 샘플 증가 효과로 환원되지 않음이 확인되었다.

주요 평가 데이터는 SAT Math, SAT Reading & Writing(분류), Cambridge, USMLE(회귀) 네 가지다. 종합 결과에서 Epi2Diff는 네 데이터셋 모두에서 보고된 모든 지표(Accuracy, macro-F1, RMSE, R2)에서 최상위를 기록했다. 예컨대 SAT Math에서 Epi2Diff는 ACC 0.730, macro-F1 0.728을 달성했고 Cambridge 회귀에서는 RMSE 7.612, R2 0.396을 기록했다. 논문은 SAT 분류 벤치마크에서 LLM 감독 파인튜닝 대비 평균 상대 이득 8.1%를 보고했다.

Ablation 실험은 표현의 구성 요소별 기여를 정량화했다. 문항 의미(semantic embedding)는 여전히 중요한 앵커 역할을 했지만 episode-composition과 transition 특성의 결합(Epi.+Tran.)은 permutation importance에서 0.136으로 Sem.(0.084)와 Len.(0.042)을 상회했다. 이는 길이만으로는 포착되지 않는 국지적 흐름과 기능별 예산 배분이 난이도 예측에 실질적 기여를 함을 뜻한다.

추가 분석은 난이도와 과정적 특성의 방향성을 규명했다. 총 추론 길이와 think 부분 길이는 예측 난이도에 강한 양(positive) 효과를 보였고, Implement 카운트 및 Implement 비율은 양의 효과가 컸다. 전이 효과에서는 Analyze→Implement, Implement→Implement, Implement→Analyze 순으로 양의 영향이 크게 관찰되어 어려운 문항이 구현 중심의 반복적 실행-분석-수정 사이클을 더 자주 유발함이 확인되었다.

전체 파이프라인은 LRM 추론 생성, 문장 분절, 문장-에피소드 분류, 에피소드 특성 집계, 문항 의미 임베딩 결합, 그리고 최종 예측기 학습의 단계로 구성된다. 문장-에피소드 분류기는 RoBERTa 기반으로 ThinkARM의 GPT-5 주석 데이터와 인간 골드셋을 사용하여 학습되었고 테스트에서 정확도 0.799를 달성했다. 에피소드 구분은 Read·Analyze·Plan·Implement·Explore·Verify·Monitor·Answer의 8개로 고정되며 Answer는 최종 정답 약속을 포착하기 위해 추가되었다.

프로세스 표현은 세 카테고리로 구성된다. 길이 특성은 토큰 기준 총 길이, think 부분 길이, answer 부분 길이의 3차원 벡터로 정의되며 에피소드 분포는 각 에피소드에 할당된 토큰 합(ci,e)과 정규화된 비율(ri,e)을 포함한다. 전이 특성은 인접 에피소드 쌍의 raw count ai,e,e'로 구성된 8×8 행렬을 평탄화한 64차원 벡터로 정의되었다. 이로써 최종 피처는 3 + 8 + 8 + 64 = 83차원이 된다.

다중 프로필 집계는 LRM에게 role-play 프롬프트를 제공하여 direct, weak, medium, strong 네 가지 프로필에서 각각 추론을 생성하게 하고, 각 프로필의 과정 표현을 평균화하여 더 견고한 과정 신호를 얻는 방식이다. 다운스트림 예측기는 선형·트리 기반 후보 중 검증 성능으로 선택했고, 모든 데이터셋에서 XGBoost가 최종 선택되었다. 전이 설계에 관한 추가 실험은 raw adjacent bigram counts가 정보-밀도-강건성 측면에서 최적임을 보였다.

본 연구의 과정 신호는 유한한 범위의 LRM들이 생성한 추론 트레이스에 의존한다. 모델별로 문장 길이, 분해 세부도, 중간 추론의 명시성 차이가 존재하므로 에피소드 분포와 전이 패턴이 모델 특성에 민감할 가능성이 있다. 본 연구는 SAT, Cambridge, USMLE 등 네 개 벤치마크에 대해 검증을 수행했지만 항목 형식·도메인·라벨링 방식이 더 다양한 상황으로의 일반화는 추가 검증이 필요하다.