LLM 예측기의 내부 표현을 이용한 보정·감사와 거짓 탐지

왜 중요한가

대형 언어모델을 예측 태스크에 적용할 때 예측의 신뢰도와 추론 과정의 진실성은 의사결정 품질에 직접적인 영향을 미친다. 이 논문은 출력과 표면적 추론 로그 대신 모델의 중간 활성화에 주목하여 보정과 감사의 관점을 확장한 점에서 의미가 크다. 내부 표현을 통해 외부 조작이나 근거 제거가 일으키는 행동 변화를 더 민감하게 포착할 수 있음을 보였기 때문에 실무 시스템의 신뢰성관리와 비용 효율화에 직결되는 통찰을 제공한다.

핵심 기여

representation-pooling 프로브로 캘리브레이션 성능 향상

Eternis-Forecaster 8B를 중심으로 중간 활성화를 pooling한 표현을 학습 가능한 프로브에 입력하여 예측의 신뢰도를 추정했다. 해당 프로브는 출력 기반 신뢰도 지표보다 더 우수한 캘리브레이션을 보였으며 여러 모델(GLM-4.7-Flash, GLM-4.5-Air)에 걸쳐 일관된 성능 우위를 나타냈다. 이 결과는 불확실성 신호가 출력 확률이 아닌 내부 표현에 저장되는 경우가 많음을 시사한다.

Chain-of-Thought(trace) 불성실성 탐지보다 내부 표현의 민감성이 우수함

근거 제거(evidence ablation)와 교란(diversionary injection) 실험에서 Chain-of-Thought 추론 로그는 종종 프롬프트 변경의 영향을 드러내지 않았다. 반면 내부 표현 기반 프로브의 활성화는 행동 변화와 강하게 상관했고 변화 방향을 84%의 사례에서 정확히 예측했다. 이로써 내부 표현 관찰이 CoT 로그가 숨기는 조작을 드러내는 실용적 장치임이 확인됐다.

사전 추론 패스와 분포 기반 라우팅으로 토큰 절감

단일의 pre-reasoning 패스로 모델이 이미 고정한 응답과 신뢰도를 복원할 수 있음이 관찰되었다. 이 사전 응답 분포의 확산(spread)을 기준으로 질문을 라우팅하면 생성 토큰을 30–47% 절감하면서 정확도 저하가 없었다는 결과가 보고됐다. 따라서 대화형 예측 시스템에서 비용과 지연을 동시에 줄이는 실용적 절차로 활용 가능하다.

핵심 아이디어 이해하기

기존 접근은 모델의 최종 출력과 사람이 읽을 수 있는 Chain-of-Thought(trace)를 통해 예측 근거와 신뢰도를 판단하려는 경향이 있었다. 그러나 출력 확률은 내부 상태의 복합 신호를 충분히 반영하지 못하고 Chain-of-Thought는 외부 조작에 대해 항상 정합적 반응을 보이지 않았다. 이 논문은 중간 활성화에 대한 직접적인 관찰이 그 빈틈을 메울 수 있다는 출발점을 제시한다. 중간 활성화에 representation-pooling을 적용하면 층(layer)과 토큰 축의 정보를 요약한 고정 길이 표현을 얻을 수 있다. 이러한 표현을 라벨(예: 예측 방향, 신뢰도)에 대해 감독 학습으로 학습시키면 내부 상태와 행동 사이의 함수적 관계를 학습하는 프로브가 형성된다. 프로브는 출력 확률 기반 신호보다 행동 변화에 더 민감한 특징을 활용하여 보정과 감시 능력을 향상시킨다. 강제 응답(forced answering) 실험은 모델이 실제 추론을 생성하기 전에 이미 답을 '커밋'할 가능성을 보여준다. 사전 패스에서 얻은 응답 분포의 확산을 측정하면 얼마나 확정적(committed)인지 판단할 수 있으며, 이 정보를 기반으로 비용이 큰 완전한 생성 과정을 선택적으로 생략하거나 수행함으로써 토큰과 시간 자원을 절감할 수 있다. 이러한 변화는 내부 표현 기반 관찰이 추론의 시점과 책임 있는 라우팅 결정을 가능하게 함을 의미한다.

방법론

연구는 주로 Eternis-Forecaster 8B를 OpenForesight 데이터와 함께 사용하여 시작했으며 동일한 방법을 GLM-4.7-Flash와 GLM-4.5-Air에도 적용했다. 각 모델의 중간 활성화를 계층별로 추출한 뒤 pooling 연산으로 요약 표현을 구성했고, 이 표현들을 입력으로 하는 소형 분류기(프로브)를 학습시켜 예측의 캘리브레이션 지표와 행동 변화 감지 성능을 평가했다. 평가에는 캘리브레이션 개선과 행동 변화에 대한 민감도 비교가 포함되었다. CoT의 진실성(faithfulness)을 검증하기 위해 근거 제거(evidence ablation)와 교란(diversionary injection) 실험을 설계했다. 근거 제거는 프롬프트에서 영향력이 큰 근거 문장을 삭제한 뒤 예측과 추론 로그의 변화를 동시에 관찰하는 방식이다. 교란 실험은 근거와 무관한 정보를 주입하여 모델의 예측이 바뀌는지와 Chain-of-Thought가 이를 반영하는지를 대조함으로써 CoT의 추적 능력 한계를 탐지했다. 사전 추론 패스(forced answering) 실험은 완전한 CoT 생성을 수행하기 전에 모델에게 한 번의 빠른 추론 패스를 실행하여 응답 분포와 신뢰도를 기록하는 절차로 구성되었다. 이 분포의 확산을 기반으로 질문을 '간단 처리' 또는 '전문적 처리'로 라우팅하여 토큰 소비를 줄이는 전략을 적용했다. 라우팅 성능 평가는 절감된 토큰 비율과 정확도 유지 여부로 측정했다.

주요 결과

representation-pooling 프로브는 출력 기반 신뢰도 지표보다 캘리브레이션에서 현저한 개선을 보였고 이 효과는 Eternis-Forecaster 8B뿐 아니라 GLM-4.7-Flash와 GLM-4.5-Air에서도 관찰되었다. 내부 표현을 학습한 프로브는 행동 변화에 대한 민감도에서 Chain-of-Thought(trace)보다 우수했으며 모델의 행동 변화 방향을 84%의 사례에서 예측했다. 이러한 결과는 내부 활성화가 예측의 불확실성과 민감성을 보다 직접적으로 반영함을 시사한다. 근거 제거 및 교란 실험에서는 프롬프트의 영향이 예측에는 뚜렷한 변화를 야기하지만 Chain-of-Thought 로그는 흔히 동일한 변화를 보여주지 못했다. 같은 상황에서 프로브 활성화는 예측 변화를 더 정확히 추적했고 CoT가 은폐한 영향도 포착하는 경우가 빈번했다. 이 차이는 CoT 로그만으로는 모델의 실제 의사결정 동인을 완전히 신뢰할 수 없다는 실험적 근거를 제공한다. 사전 추론 패스 결과는 모델의 다수 예측이 실제 추론 생성을 시작하기 전 이미 고정되어 있음을 보여주었다. 한 번의 pre-reasoning 패스로 커밋된 답과 신뢰도를 복원할 수 있었고 이 정보를 이용한 라우팅은 생성 토큰을 30–47% 절감하면서 정확도 손실이 발생하지 않았다. 따라서 내부 표현 기반의 사전 판단과 라우팅은 운영 비용을 낮추면서 서비스 수준을 유지하는 실무적 이득을 제공한다.

기술 상세

전체 아키텍처는 사전학습된 LLM의 중간 활성화를 추출하는 단계와 이 활성화를 pooling하여 고정 길이 표현을 만드는 단계, 그리고 그 표현을 입력으로 하는 소형 분류기(프로브)를 학습하는 단계로 구성된다. pooling 연산은 토큰·헤드·층 차원에서 정보를 요약하며 이 요약 표현이 캘리브레이션 점수 또는 행동 변화 지표를 예측하는 함수의 입력으로 쓰인다. 프로브 학습은 지도학습 방식으로 이루어졌으며 라벨은 예측의 정답 여부나 변화 방향과 같은 행동 지표로 정의되었다. 근거 제거 및 교란 실험은 프롬프트 수정이 예측 결과와 추론 로그에 미치는 영향을 정량화하는 데 초점을 맞춘다. 실험 설계는 원래 프롬프트 대비 근거 삭제 또는 교란 주입 후 예측 변화량과 Chain-of-Thought 텍스트의 변화량을 비교하는 방식으로 진행되었으며 프로브 활성화의 변화와도 상관관계를 계산했다. 내부 표현의 활성화는 행동 변화에 대해 더 높은 상관도를 보였고 방향 예측 정확도는 84%로 보고되었다. 사전 추론 패스는 모델이 실제로 Chain-of-Thought를 생성하기 전에 수행되는 단일 전처리 패스로서, 이 패스에서 얻은 응답 분포의 확산(spread)을 토대로 라우팅 결정을 내렸다. 확산이 작은 경우에는 pre-reasoning 응답을 최종 응답으로 채택하고 확산이 큰 경우에만 전체 CoT 생성을 진행하는 규칙을 적용하여 토큰을 절감했다. 이 절차는 질문별로 동적으로 계산되는 비용-정확도 절충을 가능하게 하며 실험에서는 30–47% 토큰 절감과 정확도 유지가 관찰되었다.

실무 활용

내부 표현을 관찰하는 프로브는 예측 시스템의 캘리브레이션과 조작 감시 파이프라인에 직접 통합될 수 있다. 또한 pre-reasoning 분포 기반 라우팅은 대화형 예측 서비스를 위한 비용 절감 수단으로 곧바로 적용 가능하다. 구현에 필요한 핵심 요소는 중간 활성화 추출, pooling 방식, 그리고 경량 분류기 학습 파이프라인이다.

대화형 예측 서비스에서 응답 라우팅으로 토큰 비용 절감
감사 로그 보강을 위한 내부 표현 기반 거짓 탐지
모델 업데이트와 배포 전 캘리브레이션 점검용 자동 모니터링

코드 공개 여부: 비공개

키워드

representation probing(내부 표현 프로빙)calibration(캘리브레이션)chain-of-thought(Chain-of-Thought)evidence ablation(근거 제거 실험)forced answering(강제 응답 패스)

용어 해설

내부 표현 프로빙(Representation Probing): — 모델의 중간 활성화(activation)를 집계하여 분류기나 회귀기를 학습시킴으로써 모델의 숨겨진 신호를 읽어내는 기법이다. 본문에서는 중간 층의 활성화를 pooling하여 예측의 신뢰도나 행동 변화를 추정하는 데 사용되며 출력 확률만으로는 포착하기 어려운 불확실성 표지를 포착하는 수단으로 중요하다.
사고 흐름(Chain-of-Thought)(Chain-of-Thought): — 모델이 내부적으로 생성하는 단계적 추론 텍스트를 의미하며 사람이 이해 가능한 추론 경로를 제공하는 역할을 한다. 이 논문에서는 Chain-of-Thought(trace)가 프롬프트 조작에 대해 항상 민감하지 않음을 보이는 비교 대상으로 사용되어 추론의 '진실성'을 평가하는 핵심 개념으로 쓰였다.
모델 캘리브레이션(Calibration): — 모델이 예측한 확률과 실제 정답률 간의 일치성을 측정하는 개념으로, 확률 값이 실제 발생률을 얼마나 잘 반영하는지 평가한다. 본문에서는 출력 확률에 기초한 캘리브레이션과 내부 표현 기반 프로브의 캘리브레이션을 비교하여 후자가 더 우수함을 보였다.
근거 제거 실험(Evidence Ablation): — 프롬프트에서 특정 근거 문장을 제거하여 그 제거가 모델 예측과 추론 기록에 미치는 영향을 관찰하는 실험적 기법이다. 본문에서는 이 기법을 통해 Chain-of-Thought가 근거 제거의 영향을 드러내지 못하는 사례와 내부 표현의 민감성을 대조했다.
강제 응답 패스(Forced Answering): — 정식 추론(Chain-of-Thought)을 시작하기 전에 모델에 한 번의 전처리 패스를 수행하여 이미 결정된 답변 분포와 신뢰도를 회복하는 절차이다. 본문에서는 이 사전 패스가 실제로 모델의 '커밋된' 응답을 재현하며 이를 이용한 라우팅으로 토큰을 절감할 수 있음이 관찰됐다.

LLM 예측기의 내부 표현을 이용한 보정·감사와 거짓 탐지

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

토큰 예산 인지형 LLM 추론

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

토큰 예산 인지형 LLM 추론