Anthropic J-space 논문과 Jacobian Lens를 이용한 Subtext 실시간 읽기 데모

원문 작성자는 레포지토리와 브라우저 재생 링크를 함께 공개하고 질문을 환영한다고 적었으며 게시물 자체에 댓글 내용은 포함되지 않았다. 공개된 자료에는 데모와 감사 스크립트가 포함되어 있어 독자들이 직접 실행하거나 검증할 수 있도록 구성되어 있다. 따라서 본문만으로는 커뮤니티 반응의 상세 분포를 판단할 수 없으나 작성자가 제공한 검증 가능 자료는 추가 검토를 촉진할 만한 요소로 보인다.

• 실시간 내부 신호를 관찰하려면 jacobian 기반 렌즈를 각 토큰 처리 시점의 중간 활성화에 적용해 언임베드로 변환하는 경로를 구성해야 한다. 이 변환은 레이어별 matmul 연산과 unembed 연산으로 구현하면 성능 저하를 거의 일으키지 않으므로 단일 12GB GPU에서 Qwen3.5-4B를 bf16으로 실행하며 여러 레이어를 실시간으로 읽어낼 수 있다. 구현 후에는 레포지토리의 감사 스크립트를 이용해 참조 구현과 레이어·위치별 결과를 비교하여 재현성을 확인하는 절차를 권장하며, 유사도 지표와 top-k 일치 여부를 기준으로 검증할 수 있다.

J-space

— J-스페이스는 모델 내부 표현 중 특정 개념이 소수의 활성화 집합으로 나타나고 이러한 내부 상태가 모델의 추론과 제어에 기여한다는 관찰을 담은 개념으로, jacobian 기반 측정으로 개념 단위를 식별하고 그 유효성을 검증하는 데 쓰인다.

Jacobian Lens

— Jacobian Lens는 입력 토큰 변화가 중간 뉴런 활성화에 미치는 민감도를 야코비안으로 계산해 특정 개념 신호를 추출하는 기법으로, 추출된 신호를 matmul + unembed 형태로 빠르게 읽어내어 실시간 가시화에 활용할 수 있다.

Unembed

— Unembed는 모델의 내부 표현을 출력 토큰 공간으로 투영하는 역변환 행렬을 가리키며, 내부 신호를 언임베드 연산으로 변환해야 인간이 해석 가능한 토큰 분포나 개념 점수로 읽어낼 수 있다.

bfloat16

— bfloat16은 모델 학습과 추론에서 사용되는 16비트 부동소수점 표기 방식으로, 메모리 사용량과 연산 효율을 줄이면서도 안정적인 수치 범위를 유지해 12GB급 GPU에서도 중형 모델을 실행할 수 있게 한다.