patchscopes

원래 시각모델 내부 패치 표현을 관찰하기 위해 고안된 방법을 텍스트 모델에 적용한 것으로, 특정 부분의 내부 표현을 뽑아 예측 변화와 대응시키는 방식이다. 은닉 토큰 단위의 표현을 샘플링하여 그 지역의 결정 구조를 시각화하고, 다른 렌즈와 비교해 표현의 공간적 분포를 확인한다. 시각적·구조적 패턴을 포착하는 데 적합하다.