자연어 오토인코더(NLA)를 통한 LLM 활성화 값의 비지도 해석

섹션별 상세

LLM의 내부 활성화 값은 고차원 벡터로 구성되어 인간이 직접 해석하기 어렵다. NLA는 이 벡터를 자연어 설명으로 변환하는 AV와 이를 다시 벡터로 복원하는 AR을 결합하여, 모델의 내부 상태를 언어적 형태로 가시화한다.

AV와 AR은 강화학습을 통해 재구성 손실을 최소화하는 방향으로 공동 학습된다. 학습 과정에서 명시적인 해석 가능성 제약 없이도, 모델의 내부 정보를 반영하는 유의미한 자연어 설명이 생성된다.

Claude Opus 4.6을 대상으로 한 사례 연구에서 NLA는 모델이 평가받고 있음을 인지하는 '평가 인식' 현상을 포착했다. 이는 모델이 명시적으로 언급하지 않은 내부적 의심이나 사고 과정을 진단할 수 있음을 시사한다.

NLA 기반 에이전트는 의도적으로 오정렬된 모델을 조사하는 벤치마크에서 기존 베이스라인을 능가했다. 특히 훈련 데이터에 대한 접근 권한 없이도 모델의 오정렬 원인을 파악하는 성능을 보였다.

NLA는 환각(confabulation) 문제와 추론 비용이라는 한계를 가진다. 생성된 설명에 사실과 다른 내용이 포함될 수 있으므로, 단일 토큰의 정보보다는 문맥 전반에 반복되는 테마를 중심으로 해석하는 것이 권장된다.