단일 forward pass 기반 hallucination 탐지 연구

게시자는 코드와 사전 등록 파일, 점수 행렬을 공개해 검증 가능성을 강조했고 댓글 반응은 방법론의 엄격성에 공감하는 의견과 전이(sign) 문제를 지적하는 회의적 의견으로 나뉘었습니다. 지지 측은 nf4→int8→bf16→fp32 변환에서 신호 보존을 보여 양자화 아티팩트 가능성을 배제한 점을 긍정적으로 평가했습니다. 회의적 측은 'first-token commit' 규칙이 실제 배포 조건에서 응답 형식 변동(개행·chain-of-thought 등)에 취약해 사전 등록 문턱으로 인해 일부 작업이 불리하게 처리되었다는 점을 문제 삼았습니다.

• 새 연구자가 이 접근법을 따라할 때는 모델별 sign 보정을 필수로 설계하고, 'first-token' 규칙을 엄격히 적용할지 여부는 작업 형식(즉 QA, 대화, 요약)에 따라 사전 등록된 대체 규칙을 마련해야 합니다. 정밀도 검증(nf4→int8→bf16→fp32)은 신호가 정밀도 산물인지 실계산 패턴인지 구별하는 데 유용하므로 공개 실험에서 포함시키는 것을 권장합니다. 공개된 verify_endpoints.py와 점수 행렬을 먼저 실행해 요약을 바이트 단위로 재현한 뒤 본격적 모델 실험을 설계하면 재현성 오류를 줄일 수 있습니다.

커밋-모먼트 감지(Commit-moment detection)

— 모델이 첫 답변 토큰을 확정하는 순간의 내부 신호 변화를 입력으로 삼아 허위 생성(hallucination) 여부를 판정하는 방법입니다. 입력으로는 attention 모양, residual 변화, readout 기하학, 모델 신뢰도 같은 내부 지표들이 사용되며, 출력은 첫 토큰 전의 YES/NO 판정입니다. 이 방식은 외부 보조 모델 없이 단일 forward pass로 즉시 결정을 내릴 수 있다는 점이 핵심입니다.

리드아웃 기하학(Readout geometry)

— 모델의 출력층으로 가는 내부 표현들의 기하학적 구조를 측정해 답변 확정 신호를 포착하는 기법입니다. 입력 벡터들의 분포·투영·거리 관계를 계량화하고 특정 패턴이 답변 커밋과 상관관계가 있는지를 AUROC 등으로 평가합니다. 기하학적 신호는 일부 모델에서 강한 예측력을 보여주며, 다른 신호와 결합해 안정성을 높입니다.

모델 신뢰도 신호(Model confidence)

— 모델 자체가 출력 확률·로짓 분포로부터 산출하는 신뢰도 지표를 내부 신호로 취급하는 항목입니다. 논문은 이 신뢰도가 readout geometry와 중복되는 경우가 많아 독립적인 개선 효과가 적음을 실험적으로 확인했습니다. 신뢰도 신호는 모델별 보정(calibration) 없이 범용적으로 적용하기 어려운 특성이 관찰됩니다.

양자화(quantization) 강건성 검사(Quantization robustness check)

— nf4 → int8 → bf16 → fp32 같은 서로 다른 정밀도 변환에서 탐지기 신호가 변하는지를 점검하는 검증 절차입니다. 저정밀도에서 신호가 소실되면 양자화 산물일 가능성이 제기되는데, 저자는 여러 형식에서 신호가 유지되므로 실제 계산적 패턴을 읽는다고 보고합니다. 이 검사는 4-bit 모델에 대한 '단순 양자화 아티팩트' 의심을 배제하려는 목적입니다.

사전 등록(프리레지스트레이션)(Pre-registration)

— 실험 설계·성능 문턱·검증 스크립트를 데이터 취득 이전에 고정하고 해시로 봉인한 절차입니다. 이 글은 바뀔 수 있는 선택을 사전에 봉인해 p-hacking을 줄이려 했고, 검증은 공개된 매트릭스로 재현 가능하도록 구성했습니다. 사전 등록 규칙이 결과 해석(예: first-token 규칙에 따른 작업 무효화)에 직접적 영향을 미쳤다는 점도 공표했습니다.