모델 은닉 상태로부터 신뢰도를 언어화하는 라우팅 해법과 know-say gap

커뮤니티는 은닉 상태에 신뢰 신호가 존재한다는 점과 라우팅 병목 가설에 관심을 보였고, 소수의 라벨로 실질적 AUROC를 확보했다는 수치에 주목했다. 일부 연구자는 브리지 방식이 범용적으로 안전한지와 alignment 와의 상호작용 여부에 의문을 제기했으며 재현 실험과 코드 검증을 요청하는 목소리가 나타났다. 전반적으로 방법의 실험적 근거는 수용할 만하다는 반응이 있으나 추가 공개 실험과 독립 검증이 요구된다는 견해가 지배적이었다.

• 중간층 활성화에서 신뢰 신호를 추출하려면 작은 선형 probe를 학습하고 AUROC 같은 분류 지표로 초기 성능을 평가하는 것이 필요하다. probe가 일관된 예측을 보이면 probe 출력을 confidence-digit logits로 매핑하는 최소한의 가중치 브리지를 학습해 출력에 반영하고, 출력 텍스트가 변하지 않는지 비교 검증을 수행해야 한다. 소규모 라벨셋(원문 기준 약 200개)을 먼저 사용해 프로토타입을 만든 뒤 규모와 작업 범위를 확장하면서 재현성과 안전성을 점검하는 절차가 권장된다.

Know-Say Gap

— 모델 내부에는 정확한 정보 처리가 존재하지만 언어화해 보고할 수 있는 부분은 제한되는 현상으로, 은닉 상태의 신호가 출력 언어로 전달되는 경로(라우팅)가 병목이 된다는 가설을 중심으로 설명된다. 이 개념은 내부 표현과 보고 가능한 서브스페이스(J-space)를 구분하여 왜 모델이 알고 있는 것을 말하지 못하는지를 설명한다.

Linear Probe

— 모델의 중간 층 표현에서 특정 정보(예: 정답 확신)를 추출하기 위해 가중치가 고정된 선형 분류기를 학습시키는 기법으로, 입력 표현을 선형 변환하여 목표 신호를 예측하는 방식으로 활용된다. 본문에서는 중간층 상태를 입력으로 하여 신뢰도 점수를 추정하는 데 쓰였고, 소량의 라벨로도 유의미한 AUROC를 달성한 근거가 됐다.

J-space

— Anthropic의 용어로 모델이 언어로 보고하거나 명시적으로 다룰 수 있는 제한된 개념적 서브스페이스를 지칭한다. 이 서브스페이스는 모델 내부의 더 큰 처리 영역 위에 놓여 있으며 정보가 언어로 전달되려면 이 공간으로 라우팅되어야 한다는 관점에서 know-say gap의 해석에 사용되었다.