LLM 내부 상태의 잠재적 변화: 출력은 안전해도 내부적으로는 다른 상태일 수 있다

커뮤니티 반응

작성자의 연구 결과에 대해 커뮤니티의 기술적 검증과 비평을 요청하는 상황이며, 해석 가능성 및 AI 안전성 분야 전문가들의 피드백을 기다리고 있음.

주요 논점

01중립분열

연구 결과의 타당성과 해석에 대한 기술적 비평을 구함.

합의점 vs 논쟁점

논쟁점

내부 상태 변화가 실제 모델의 위험을 의미하는지, 아니면 분석 과정의 아티팩트인지에 대한 논쟁.

실용적 조언

모델의 안전성 평가 시 출력값뿐만 아니라 잔차 스트림의 내부 상태 변화를 모니터링하는 기법을 병행해야 함.

섹션별 상세

내부 상태 변화 발견: Gemma-3-12B-IT 모델의 잔차 스트림(layers 12-41)에서 일관된 문맥 입력 시 출력과 무관한 내부 잠재 상태 변화가 측정되었다. 연구자는 Gemma Scope SAE를 활용하여 타겟 문맥과 셔플된 문맥 간의 벡터 투영을 비교 분석했다. 문장이나 단어 순서를 섞으면 투영값이 감소하거나 반전되며, 중간 레이어에서 +80-100 단위의 급격한 위상 변화가 관찰되었다. 이는 모델이 출력과 무관하게 내부적으로는 다른 상태를 유지할 수 있음을 보여준다.

안전성 시사점: RLHF나 출력 필터링 등 기존 안전성 기법은 출력만 모니터링하므로 이러한 내부 regime shift를 감지하지 못하는 구조적 취약점이 존재한다. 연구자는 현재의 안전성 패러다임이 출력의 안전성만을 근거로 모델 전체의 안전성을 가정하는 오류를 범하고 있다고 지적했다. 이러한 내부 변화는 실제 배포된 에이전트 환경에서 예기치 않은 위험을 초래할 수 있다. 따라서 출력 기반 평가를 넘어 내부 상태 모니터링이 필수적이다.

언급된 도구

Gemma Scope (SAE)중립

모델 내부 활성화 값 분석

언급된 리소스

문서Zenodo Research

GitHubGitHub Repository