BAG OF DIMS: 훈련 없이 차원-수준 부호 패턴으로 메커니즘 해석 가능성

Transformer의 hidden state를 읽고 해석하기 위한 학습 기반 도구의 비용을 낮출 수 있음을 보여준다. 표준 basis만으로도 의미를 읽을 수 있으며, 언어/비전/오디오 등 다양한 모달리티에서 공통의 읽기 패턴이 관찰된다. 이는 해석 가능성 연구의 새로운 방향을 제시하고, 시스템적 안전성 모니터링에 실용적인 영향을 준다.

각 차원은 독립적으로 정보를 담고 있으며, 부호 패턴의 부분집합으로 특정 카테고리의 의미를 읽을 수 있다. 훈련 없이도 타입-레벨 캐시를 이용해 신속하게 프로토타입을 구성하고, 카테고리 판독은 부호 일치의 다중 차원 투표로 수행된다. K/V 프로젝션과 FFN writes가 이 읽기-쓰기를 지원하는 전체 회로를 형성하며, 여러 모달리티에서도 같은 구조가 나타난다.

1. 타입-레벨 캐시를 생성하기 위해 어휘 전체를 단일 토큰 입력으로 모델에 전달하고 layer별 hidden state를 저장한다. 2) 각 차원에 대해 직관적 AUC를 사용해 카테고리 구분력을 평가하고, 임계값 τ=0.75를 초과하는 차원을 Dc로 등록한다. 3) Dc에 대해 polarity를 기록하고, 새로운 토큰의 부호 일치를 통해 점수를 산출한다. 4) K/V 프로젝션에서도 동일한 절차를 적용해 axis-aligned 구조를 검증한다. 5) FFN 작동을 확인하기 위해 노드 단위 및 코얼리션 수준의 매개변수-활동 연결을 분석한다.

Sign-only 읽기( magnitudes=1)로도 Top-5 정확도 60–93%, 800차원-가장 큰 차원에서더 높은 정확도 달성. 175 카테고리의 prototypes를 통한 AUC 0.80–0.99 범위, 컨텍스트 일반화 0.72–0.77의 폴링. K/V 프로젝션에서도 axis-aligned 구조 유지. FFN 뉴런군의 majority-vote writes가 0.70±의 프로토타입 정합을 달성. Cross-modality 실험에서 DINOv2, ViT-Base, AST 모두 비슷한 패턴 보임.

본 연구는 Transformer의 residual stream에서 차원별 부호와 크기로 정보를 표현하는 것을 전제로 한다. D 차원에서 부호는 content를, magnitude는 confidence를 표현하는 독립 채널로 취급한다. 각 카테고리는 선언적 프로토타입 Dc와 polarity π를 구성하며, 토큰의 부호 일치 비율로 분류 점수를 얻는다. K/V 프로젝션은 동일한 디코딩 규칙으로 읽히며, FFN의 down-proj 열은 프로토타입과의 부호 매칭으로 특정 차원을 쓰는 뉴런 군 coalition을 형성한다. 실험적으로 4개 모델(Language: Qwen 3.5-4B, Gemma 3-4B, Mistral 7B, Qwen3-32B; Vision: DINOv2-Base, ViT-Base; Audio: AST)에서 MI가 0.006 bits 이하로 낮고, cross-dim capacity가 불필요하다는 것을 확인한다.

Limitations 포함: 스케일 확장에서의 지속성은 70B+에서도 확신하기 어려움, Qwen3-32B의 D/V 비율이 낮은 모델에서 컨텍스트 읽기가 약함, Layer 간 좌표계가 레이어별로 다르므로 layer별 스윕이 필요함, 175개 카테고리는 전체 특징의 일부분일 수 있음.