LLM 예측기의 내부 표현을 이용한 보정·감사와 거짓 탐지

대형 언어모델을 예측 태스크에 적용할 때 예측의 신뢰도와 추론 과정의 진실성은 의사결정 품질에 직접적인 영향을 미친다. 이 논문은 출력과 표면적 추론 로그 대신 모델의 중간 활성화에 주목하여 보정과 감사의 관점을 확장한 점에서 의미가 크다. 내부 표현을 통해 외부 조작이나 근거 제거가 일으키는 행동 변화를 더 민감하게 포착할 수 있음을 보였기 때문에 실무 시스템의 신뢰성관리와 비용 효율화에 직결되는 통찰을 제공한다.

기존 접근은 모델의 최종 출력과 사람이 읽을 수 있는 Chain-of-Thought(trace)를 통해 예측 근거와 신뢰도를 판단하려는 경향이 있었다. 그러나 출력 확률은 내부 상태의 복합 신호를 충분히 반영하지 못하고 Chain-of-Thought는 외부 조작에 대해 항상 정합적 반응을 보이지 않았다. 이 논문은 중간 활성화에 대한 직접적인 관찰이 그 빈틈을 메울 수 있다는 출발점을 제시한다. 중간 활성화에 representation-pooling을 적용하면 층(layer)과 토큰 축의 정보를 요약한 고정 길이 표현을 얻을 수 있다. 이러한 표현을 라벨(예: 예측 방향, 신뢰도)에 대해 감독 학습으로 학습시키면 내부 상태와 행동 사이의 함수적 관계를 학습하는 프로브가 형성된다. 프로브는 출력 확률 기반 신호보다 행동 변화에 더 민감한 특징을 활용하여 보정과 감시 능력을 향상시킨다. 강제 응답(forced answering) 실험은 모델이 실제 추론을 생성하기 전에 이미 답을 '커밋'할 가능성을 보여준다. 사전 패스에서 얻은 응답 분포의 확산을 측정하면 얼마나 확정적(committed)인지 판단할 수 있으며, 이 정보를 기반으로 비용이 큰 완전한 생성 과정을 선택적으로 생략하거나 수행함으로써 토큰과 시간 자원을 절감할 수 있다. 이러한 변화는 내부 표현 기반 관찰이 추론의 시점과 책임 있는 라우팅 결정을 가능하게 함을 의미한다.

연구는 주로 Eternis-Forecaster 8B를 OpenForesight 데이터와 함께 사용하여 시작했으며 동일한 방법을 GLM-4.7-Flash와 GLM-4.5-Air에도 적용했다. 각 모델의 중간 활성화를 계층별로 추출한 뒤 pooling 연산으로 요약 표현을 구성했고, 이 표현들을 입력으로 하는 소형 분류기(프로브)를 학습시켜 예측의 캘리브레이션 지표와 행동 변화 감지 성능을 평가했다. 평가에는 캘리브레이션 개선과 행동 변화에 대한 민감도 비교가 포함되었다. CoT의 진실성(faithfulness)을 검증하기 위해 근거 제거(evidence ablation)와 교란(diversionary injection) 실험을 설계했다. 근거 제거는 프롬프트에서 영향력이 큰 근거 문장을 삭제한 뒤 예측과 추론 로그의 변화를 동시에 관찰하는 방식이다. 교란 실험은 근거와 무관한 정보를 주입하여 모델의 예측이 바뀌는지와 Chain-of-Thought가 이를 반영하는지를 대조함으로써 CoT의 추적 능력 한계를 탐지했다. 사전 추론 패스(forced answering) 실험은 완전한 CoT 생성을 수행하기 전에 모델에게 한 번의 빠른 추론 패스를 실행하여 응답 분포와 신뢰도를 기록하는 절차로 구성되었다. 이 분포의 확산을 기반으로 질문을 '간단 처리' 또는 '전문적 처리'로 라우팅하여 토큰 소비를 줄이는 전략을 적용했다. 라우팅 성능 평가는 절감된 토큰 비율과 정확도 유지 여부로 측정했다.

representation-pooling 프로브는 출력 기반 신뢰도 지표보다 캘리브레이션에서 현저한 개선을 보였고 이 효과는 Eternis-Forecaster 8B뿐 아니라 GLM-4.7-Flash와 GLM-4.5-Air에서도 관찰되었다. 내부 표현을 학습한 프로브는 행동 변화에 대한 민감도에서 Chain-of-Thought(trace)보다 우수했으며 모델의 행동 변화 방향을 84%의 사례에서 예측했다. 이러한 결과는 내부 활성화가 예측의 불확실성과 민감성을 보다 직접적으로 반영함을 시사한다. 근거 제거 및 교란 실험에서는 프롬프트의 영향이 예측에는 뚜렷한 변화를 야기하지만 Chain-of-Thought 로그는 흔히 동일한 변화를 보여주지 못했다. 같은 상황에서 프로브 활성화는 예측 변화를 더 정확히 추적했고 CoT가 은폐한 영향도 포착하는 경우가 빈번했다. 이 차이는 CoT 로그만으로는 모델의 실제 의사결정 동인을 완전히 신뢰할 수 없다는 실험적 근거를 제공한다. 사전 추론 패스 결과는 모델의 다수 예측이 실제 추론 생성을 시작하기 전 이미 고정되어 있음을 보여주었다. 한 번의 pre-reasoning 패스로 커밋된 답과 신뢰도를 복원할 수 있었고 이 정보를 이용한 라우팅은 생성 토큰을 30–47% 절감하면서 정확도 손실이 발생하지 않았다. 따라서 내부 표현 기반의 사전 판단과 라우팅은 운영 비용을 낮추면서 서비스 수준을 유지하는 실무적 이득을 제공한다.

전체 아키텍처는 사전학습된 LLM의 중간 활성화를 추출하는 단계와 이 활성화를 pooling하여 고정 길이 표현을 만드는 단계, 그리고 그 표현을 입력으로 하는 소형 분류기(프로브)를 학습하는 단계로 구성된다. pooling 연산은 토큰·헤드·층 차원에서 정보를 요약하며 이 요약 표현이 캘리브레이션 점수 또는 행동 변화 지표를 예측하는 함수의 입력으로 쓰인다. 프로브 학습은 지도학습 방식으로 이루어졌으며 라벨은 예측의 정답 여부나 변화 방향과 같은 행동 지표로 정의되었다. 근거 제거 및 교란 실험은 프롬프트 수정이 예측 결과와 추론 로그에 미치는 영향을 정량화하는 데 초점을 맞춘다. 실험 설계는 원래 프롬프트 대비 근거 삭제 또는 교란 주입 후 예측 변화량과 Chain-of-Thought 텍스트의 변화량을 비교하는 방식으로 진행되었으며 프로브 활성화의 변화와도 상관관계를 계산했다. 내부 표현의 활성화는 행동 변화에 대해 더 높은 상관도를 보였고 방향 예측 정확도는 84%로 보고되었다. 사전 추론 패스는 모델이 실제로 Chain-of-Thought를 생성하기 전에 수행되는 단일 전처리 패스로서, 이 패스에서 얻은 응답 분포의 확산(spread)을 토대로 라우팅 결정을 내렸다. 확산이 작은 경우에는 pre-reasoning 응답을 최종 응답으로 채택하고 확산이 큰 경우에만 전체 CoT 생성을 진행하는 규칙을 적용하여 토큰을 절감했다. 이 절차는 질문별로 동적으로 계산되는 비용-정확도 절충을 가능하게 하며 실험에서는 30–47% 토큰 절감과 정확도 유지가 관찰되었다.