LLM의 결정 경계와 추론 궤적을 함께 시각화하는 도구

게시물 본문은 J-Lens로 촉발된 해석 연구의 연장선에 위치하며, 커뮤니티에서는 렌즈 간 결과 불일치에 대한 호기심과 함께 재현 가능한 코드 제공에 긍정적 반응이 나왔다. 일부 연구자와 엔지니어는 서로 다른 렌즈가 의미 있는 차이를 만들었다는 관찰을 주목하며 추가 비교 실험을 제안했다. 다른 일부는 투영·시각화 방법과 해석 해석의 일반화 가능성에 대해 신중한 검증이 필요하다는 견해를 보였다.

• 동일 모델과 동일 프롬프트 조건에서 여러 렌즈를 병행 사용하여 결정영역과 예측 궤적을 비교하면 렌즈 특이적 편향을 식별할 수 있다.
• 공개된 GitHub 저장소의 코드를 먼저 실행해 기본 시각화 파이프라인과 투영 설정을 재현한 뒤, 투영 방법과 색상 매핑을 하나씩 변경해 민감도 실험을 수행할 것을 권장한다.
• 렌즈별 차이를 해석할 때는 투영 차원 축소 방식, 샘플링된 은닉층, 그리고 로짓 계산 방식 등의 구현 세부를 반드시 문서화해 비교 결과의 원인을 추적해야 한다.

Logit Lens

— 모델의 은닉층 출력을 직접 출력 로짓으로 매핑하여 각 위치에서 예측 확률을 추정하는 기법이다. 은닉 표현을 출력층 가중치와 내적하거나 선형 변환해 토큰 점수를 산출하고, 층별로 토큰 예측의 변화를 비교하는 방식으로 작동한다. 내부 표현이 예측에 어떻게 기여하는지 계층별 해석을 가능하게 하므로 모델 해석 실험에서 널리 사용된다.

Jacobian Lens

— 출력 로짓에 대한 은닉 표현의 기울기(야코비안)를 계산하여 특정 은닉 차원이 예측에 미치는 민감도를 평가하는 기법이다. 은닉 벡터의 작은 변화가 최종 토큰 확률에 어떤 영향을 주는지 편미분 정보를 통해 정량화하고, 이를 시각화해 결정 경계 근처의 작동을 분석한다. 민감도 기반의 해석을 제공하므로 로짓 기여도와 국부 기하학을 평가하는 데 유용하다.

Patchscopes

— 원래 시각모델 내부 패치 표현을 관찰하기 위해 고안된 방법을 텍스트 모델에 적용한 것으로, 특정 부분의 내부 표현을 뽑아 예측 변화와 대응시키는 방식이다. 은닉 토큰 단위의 표현을 샘플링하여 그 지역의 결정 구조를 시각화하고, 다른 렌즈와 비교해 표현의 공간적 분포를 확인한다. 시각적·구조적 패턴을 포착하는 데 적합하다.

Decision Boundary

— 모델의 예측 클래스가 바뀌는 입력 공간 상의 경계면을 의미하며, 은닉 표현을 투영한 2차원 지도에서는 서로 다른 토큰 레이블로 분할된 영역으로 나타난다. 점(은닉벡터)을 이동시켰을 때 토큰 예측이 변하는 위치를 식별하고, 렌즈별로 형성된 기하학적 구조를 비교하는 데 핵심적인 개념이다. 결정 경계의 모양은 모델의 국소적-전역적 일반화와 취약성을 해석하는 단서가 된다.