Geometric Canary: 표현 안정성을 통한 조종 가능성 예측 및 드리프트 탐지

LLM 배포 시 모델이 외부 제어에 얼마나 잘 반응할지 예측하고, 배포 후 내부 구조가 변질되는 '드리프트'를 감지하는 것은 안전한 운영의 핵심이다. 이 논문은 기하학적 안정성이라는 단일 원리로 조종 가능성 예측과 사후 모니터링을 동시에 해결하는 새로운 진단 도구 Shesha를 제안한다.

딥러닝 모델의 Embedding 공간에서 개념은 특정 방향 벡터로 존재하며, 이를 직접 수정하여 모델의 행동을 바꾸는 기법을 Representation Engineering이라고 한다. 기존에는 모델이 분류를 잘하면 조종도 잘 될 것이라 믿었으나, 실제로는 분류 정확도가 높아도 내부 기하학적 구조가 취약하면 외부 개입 시 구조가 붕괴되어 조종에 실패하는 경우가 빈번하다.

이 논문은 표현의 '자기 일관성'에 주목한다. 데이터의 일부 차원만 사용해 계산한 거리 구조와 다른 차원을 사용해 계산한 구조가 일치한다면, 해당 정보가 모델 전체에 견고하게 인코딩되어 있음을 의미한다. 이를 '기하학적 안정성'이라 정의하고, 이 안정성이 높은 모델일수록 외부의 조종 벡터 주입에도 구조를 유지하며 의도대로 동작한다.

결과적으로 모델 배포 전에는 특정 작업 레이블과 모델 구조가 얼마나 일치하는지(Supervised)를 보고 조종 가능성을 판단하고, 배포 후에는 레이블 없이도 내부 구조의 일관성이 깨지는지(Unsupervised)를 감시함으로써 모델의 전체 생애주기를 관리할 수 있게 된다.

Shesha 지표는 표현 행렬 X에서 샘플 간의 거리를 나타내는 RDM(Representational Dissimilarity Matrix)을 두 가지 방식으로 생성한 뒤, 두 행렬 간의 Spearman 상관계수를 계산한다. [두 개의 RDM 행렬 입력] → [상부 삼각 요소 추출 및 상관계수 계산] → [0~1 사이의 숫자 출력] → [값이 클수록 기하학적 구조가 안정적임을 의미].

Unsupervised Shesha(SheshaFS)는 임베딩 차원을 무작위로 절반씩 나누어 두 개의 RDM을 만든다. [전체 임베딩 차원 입력] → [차원 분할 및 각 부분집합별 거리 계산] → [두 거리 행렬의 일치도 산출] → [정보가 특정 차원에 쏠리지 않고 중복 인코딩된 정도를 측정].

Supervised Shesha(Sheshasup)는 모델의 RDM과 정답 레이블로부터 도출된 이상적인 RDM을 비교한다. [모델 출력 거리와 레이블 기반 거리 입력] → [두 행렬 간 상관관계 계산] → [정렬도 수치 출력] → [모델의 기하학적 구조가 실제 작업의 클래스 구조를 얼마나 충실히 반영하는지 나타냄].

Supervised Shesha는 69개의 임베딩 모델을 대상으로 한 실험에서 선형 조종 효과와 매우 높은 상관관계(ρ = 0.89–0.97)를 보였다. 이는 단순한 클래스 분리도(Separability)만으로는 설명할 수 없는 독자적인 예측 신호를 제공함을 확인했다.

Unsupervised Shesha는 Llama 등 23개 모델 쌍의 사후 학습 드리프트 탐지에서 CKA 대비 평균 1.96배(최대 5.23배) 더 큰 변화량을 감지했다. 또한 73%의 모델에서 CKA보다 더 빠르게 드리프트 경고를 발생시켰으며, Procrustes 지표가 38.7%의 오경보를 낼 때 Shesha는 6.5% 수준을 유지했다.

본 연구는 Linear Representation Hypothesis를 기반으로 하며, 선형 조종의 성공이 단순히 선형 분리 가능성에 의존하는 것이 아니라 표현의 기하학적 견고함(Rigidity)에 달려 있음을 수학적으로 고찰한다. Shesha는 CKA나 Procrustes와 달리 직교 변환(Orthogonal Transformation)에 불변하지 않도록 설계되어, 미세한 스펙트럼 재구성(Spectral Reorganization)까지 포착할 수 있는 민감도를 확보했다.

특히 LoRA나 양자화와 같은 가벼운 변경 사항이 기능적으로는 유사해 보일지라도 내부 기하학적 구조에는 상당한 드리프트를 유발할 수 있음을 실험적으로 보여주었다. 이는 안전 모니터링 시 행동 기반의 프로브(Behavioral Probe)보다 기하학적 모니터링이 더 조기 경보 시스템으로서 가치가 있음을 시사한다.

현재 연구는 주로 문장 임베딩 모델과 인코더 구조에 집중되어 있으며, 생성형 디코더 모델의 토큰 레벨 안정성이나 레이어별 상세 분석은 향후 과제로 남아 있다. 또한 계산 시 여러 번의 Forward Pass가 필요하여 실시간 모니터링 시 연산 비용이 발생할 수 있다.