Deepseek용 공개 Jacobian Lens 시각화기 구현과 라이브 데모

커뮤니티 반응은 전반적으로 긍정적이었고 많은 사용자가 데모와 코드 링크에 관심을 표명하며 재현 가능성에 주목했다. 몇몇 댓글은 작은 모델에서 관찰되는 패턴의 해석에 신중해야 한다는 경고를 제시했고, 일부는 더 큰 공개 모델로의 확장 가능성이나 계산 효율 개선에 대한 기술적 질문을 덧붙였다. 작성자가 구체적 실행 환경과 시간 수치를 제공한 덕분에 실무자들이 재현 계획을 세우기 용이하다는 평가가 다수 존재했다. 전반적으로 도구 공유와 데이터 공개에 대해 긍정적이며 추가 실험 결과를 기대하는 분위기였다.

• 렌즈를 재현하려면 작성자가 제공한 GitHub 리포지토리를 클론한 뒤 데모 실행 지침에 따라 환경을 구성해야 하며, Hugging Face에 업로드된 렌즈 가중치를 모델과 결합해 적용하면 동일한 시각화를 얻을 수 있다. 소형 모델에서도 빠르게 실험해볼 수 있으나 학습 및 추론 시간(보고된 바는 약 9분/프롬프트)을 고려해 배치 실험 계획을 세우는 것이 효율적이다. 모델이 오픈 웨이트이어야만 자코비안 계산과 렌즈 학습이 가능하므로 해당 조건을 먼저 확인해야 한다.
• 렌즈 결과를 해석할 때는 레이어별 후보 순위의 변화 시점을 주목하고 최종 출력과의 불일치 패턴을 찾아야 하며, 후보가 상위에 머무르다가 사라지는 정확한 레이어 지점을 로그로 남기면 디버깅에 도움이 된다. 또한 작은 모델에서 관찰된 패턴을 대형 모델로 확장 적용하기 전에 동일한 실험 프로토콜과 데이터셋으로 비교 검증을 수행해야 신뢰도가 확보된다. 실험 재현성 확보를 위해 입력 프롬프트와 시드, 검증용 데이터셋을 함께 기록하는 것을 권장한다.

Jacobian Lens

— Jacobian Lens는 트랜스포머 내부의 각 토큰 위치가 출력 방향으로 얼마나 기여할지를 자코비안 행렬로 추정하여 모델이 '표현하려고 하는' 후보 텍스트를 역으로 복원하는 기법이다. 입력 토큰에 대한 숨겨진 상태의 기울기(출력 토큰 로짓에 대한 도함수)를 주성분처럼 사용해 소수의 내부 개념을 뽑아내며, 이렇게 추출된 축들이 모델의 추론 중 핵심 개념군(J-space)을 형성함이 확인된다. 이 방법은 모델의 내부 연산이 어떤 자연어 개념으로 수렴하는지를 실험적으로 확인할 때 유용하다.

J-space

— J-space는 Jacobian Lens로 얻은 내부 표현 축들이 만드는 저차원 공간을 가리키며 모델이 실제로 '사고'하는 소수의 개념 벡터 집합을 의미한다. 이 공간에서는 특정 토큰이나 프롬프트 구간에서 활성화되는 개념들이 군집을 이루고, 개별 축은 자연어 단어나 개념 후보를 유의미하게 지목한다. J-space 관찰은 출력이 결정되기 이전의 중간 계산 상태에서 올바른 개념이 존재하는지와 그 붕괴 시점을 추적하는 데 중요하다.

Transformer Layer

— 트랜스포머 레이어는 입력 임베딩을 받아 셀프어텐션과 피드포워드 변환을 거쳐 다음 레이어로 전달하는 기본 연산 단위로서, 각 레이어의 출력은 모델 추론 과정의 단계별 표현을 제공한다. Jacobian Lens는 특정 레이어의 출력과 최종 로짓 사이의 기울기를 계산하여 그 레이어가 '어떤 단어를 향해 기울어져 있는지'를 수치적으로 포착한다. 레이어 깊이에 따라 후보 개념의 순위 변동이 관찰되며, 심층 레이어에서 출력 후보가 확정되기 전에 개념이 나타나거나 사라지는 패턴이 드러난다.