J-Lens

잔차 스트림의 특정 활성화가 미래 출력에 미치는 평균 효과를 Jacobian으로 추정한 뒤, 최종 층의 어휘 공간으로 선형 변환하는 해석 기법이다. 이 글에서는 Gemma에서 학습한 J-Lens가 DiffusionGemma에도 어느 정도 이전되는지 평가했다.