이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작은 d=128 Transformer는 잔차 스트림에 푸리에 링으로 모듈러 산술을 구현하여 선형 프로브로 정답을 완벽히 복원했으나, 이 활성화를 Phi-2로 선형 투사해 주입했을 때 lm_head가 이를 읽지 못하는 역설이 관찰되었다. 원인은 MSE로 학습된 투사층이 lm_head의 해독 방향과 정렬되지 않는 점과 중간층이 외부 신호를 적극적으로 왜곡하는 두 가지 장벽으로 규명되었고, lm_head를 고정한 채 CrossEntropy로 투사층을 학습하고 L31에 주입하자 정확도 1.0이 회복되는 한편 퍼플렉시티는 63에서 5.9e14로 극단적으로 변화했다. 이 결과는 lm_head가 올바르게 정렬된 신호를 받으면 출력을 생성한다는 보편적 읽기 장치의 성격을 시사하나, 디코딩 정렬과 중간층 변형을 해결하지 않으면 외부 기하학을 단순히 옮겨도 동작하지 않음을 보여준다.
실용적 조언
- 외부 모델의 활성화를 다른 모델에 옮길 때는 단순 거리 최소화(MSE)로 투사층을 학습하는 것이 충분하지 않으며, lm_head의 디코딩 방향과 정렬되도록 손실을 설계해야 한다. 실험에서는 lm_head를 고정한 채 CrossEntropy 손실을 사용해 투사층을 학습하고 L31에 활성화를 주입하자 정답 재구성 정확도가 1.0으로 회복되었으므로, 전이 실험에는 출력 계층을 고려한 손실 함수와 주입 위치 선정이 필수적이다. 다만 이렇게 하면 언어적 확률분포(퍼플렉시티)에 큰 변화가 발생하여(예: 63에서 5.9e14로 급등) 출력의 자연스러움이 손상될 수 있으므로 실무적 적용에서는 트레이드오프를 반드시 검토해야 한다.
섹션별 상세
작은 d=128 Transformer에서 모듈러 산술이 잔차 스트림에 푸리에 링 형태로 표현되어 덧셈 연산이 기하학적 회전으로 구현되었고, 이 구조는 선형 프로브로 정확도 1.0을 달성하는 수준으로 정렬되어 있었다. 이 기하학적 표현은 입력 토큰 쌍이 내부에서 특정 위상·주파수 성분으로 인코딩되는 방식으로 작동하며, 실험자는 이를 Phi-2로 이전해 기능 전이가 가능한지 검증하려 했다. 해당 관찰은 푸리에 매니폴드가 단순한 해석적 장식이 아니라 숫자 연산을 직접적으로 구현하는 내부 메커니즘임을 시사한다.
용어 해설
- Fourier manifold
- — 작은 d=128 Transformer의 활성화 공간에서 모듈러 산술이 원형(푸리에 링) 구조로 정렬되는 현상으로, 덧셈이 회전으로 표현되어 선형 프로브로 정확히 복원되는 기하학적 표현 방식을 의미한다. 이 구조는 입력 토큰의 합성 규칙이 잔차 스트림(residual stream) 내 특정 주파수 성분으로 매핑되는 방식으로 작동하며, 모델 내부의 연산 해석과 전이 실험의 타깃이 된다.
- Activation patching
- — 한 모델의 특정 층에서 얻은 활성화 벡터를 다른 모델의 동일 위치 활성화로 대체하거나 주입해 기능과 정보 전달 경로를 검사하는 기법으로, 입력→처리(교체)→출력 변화로 원인-결과를 검증하는 데 사용된다. 이 글에서는 작은 모델의 푸리에 벡터를 Phi-2에 선형 투사한 뒤 해당 활성화를 주입해 디코딩 가능성을 평가하는 실험적 방법으로 활용됐다.
- Residual stream
- — Transformer 내부에서 층을 가로질러 전달되는 합성된 중간 활성화 벡터들의 누적 경로로서, 연산 결과의 기하학적 표현이 쌓이는 공간이다. 이 공간에서 특정 기하학적 패턴(예: 푸리에 링)이 형성되면 해당 정보가 후속 레이어와 lm_head에서 어떻게 읽히는지가 실험의 핵심 관찰점이 된다.
- lm_head
- — Transformer 모델의 최종 출력 계층으로, 레이어 출력(주로 잔차 스트림)을 어휘 분포로 매핑하는 선형 읽기 장치이다. 이 장치는 입력 벡터의 특정 방향성에 민감하며, 외부에서 주입된 기하학적 신호가 lm_head의 해독 방향과 정렬되지 않으면 출력을 생성하지 못하는 것으로 관찰되었다.
- CrossEntropy loss
- — 언어 모델 출력 분포와 목표 토큰 분포 간의 차이를 직접적으로 최적화하는 손실 함수로, lm_head와의 정렬을 확보하려면 lm_head를 고정한 채로 이 손실로 투사층을 학습시키는 방식이 필요하다는 실험적 결론이 제시되었다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 30.수집 2026. 07. 01.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
