MettaMazza의 UnisonAI 공개와 가중치 스펙트럼 분석 결과. 학습된 모델 가중치를 기저로 변환해 구조적 신호를 분리하는 도구와 논문이 포함되어 있다. 토큰 임베딩에서 반복적으로 동일한 계산적 '법칙'이 관찰됐다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

학습된 모델의 가중치를 스펙트럴 기저로 변환해 무작위 셔플과 비교하는 방식으로 내부 구조를 분리하자 토큰 임베딩이 모든 시험 모델에서 일관된 계산적 법칙을 담고 있음이 관찰됐다. 상위 1.5% 스펙트럴 계수를 제거하면 GPT-2에서 기능이 소실되는 반면 동일 비율의 무작위 제거는 거의 영향을 주지 않아 계수의 계산적 중요성이 수치적으로 입증됐다. 체크포인트 시계열 검사로 구조가 학습 초기에 형성되어 임베딩이 먼저 각성(step 256)하고 피크(약 step 4000) 이후 안정화됨이 확인되었으며 그래디언트 단계에서도 초기에 관련 신호가 전달되는 양상이 관찰됐다. 모든 도구와 데이터가 공개되어 다른 연구자가 동일 절차로 결과를 재현할 수 있으며 스케일링·어텐션 관련 추가 검증이 현재 진행 중이다.

실용적 조언

깃허브 리포지토리를 복제하고 안내된 한 줄 명령으로 제공된 체크포인트에서 주요 실험을 재현하면 원문에서 제시한 수치 파일을 직접 확인할 수 있다.
상위 스펙트럴 계수 제거 실험은 민감한 변형을 포함하므로 복제 실험 시 동일한 전처리·기저 변환 절차와 랜덤 시드를 엄격히 일치시켜야 결과 비교가 유효하다.
학습 동역학을 추적하려면 공개 체크포인트를 시간 순으로 불러와 스펙트럼 계수 변화를 기록하면 임베딩 각성 시점과 피크 형성 시점을 재현해 분석할 수 있다.

섹션별 상세

가중치를 스펙트럴 기저로 변환해 무작위로 셔플한 복사본과 비교하는 실험적 파이프라인이 구축됐다. 입력으로는 모델의 전체 가중치가 들어가고 처리 단계에서 선형 변환을 통해 스펙트럼 계수들이 계산되며 출력으로는 원본과 셔플된 분포의 차이가 남는 계수 목록이 생성된다. 이 방법은 통계적 노이즈와 학습으로 형성된 구조를 분리할 수 있는 도구로 설계돼 재현 가능한 수치 파일로 결과를 남겼다. 해당 도구는 깃허브와 체크포인트 기반 실험으로 검증돼 다른 연구자가 동일 절차를 따라 결과를 재현할 수 있게 구성됐다.

여러 모델을 대상으로 분석한 결과 토큰 임베딩 계층이 모든 테스트된 모델에서 일관되게 '빛나는' 위치로 확인됐다. 실험은 4B부터 1조 파라미터에 이르는 모델들에 동일한 스펙트럴 변환을 적용해 진행됐고, 11개 모델 전부에서 임베딩 쪽에 구조적 신호가 집중되었다는 정량적 관찰이 나왔다. 이 관찰은 모델 내부의 계산적 중추가 출력층·중간층이 아니라 입력을 벡터화하는 임베딩 쪽에 자리할 수 있음을 시사한다. 따라서 모델 해석과 수선의 관점에서 적절한 진단 대상이 임베딩 계층임이 실험적으로 뒷받침됐다.

상위 스펙트럴 계수 제거 실험은 구조의 중요성을 직접적으로 검증했다. GPT-2에서 가장 큰 1.5%의 계수를 제거하자 모델 기능이 소멸했고 동일 비율을 무작위로 제거했을 때는 거의 영향이 없었기 때문에 동일 삭제 예산에서 약 150배 더 큰 손상이 발생했다는 수치가 제시됐다. 이 결과는 특정 계수들이 단순한 통계적 표식이 아니라 실제 계산을 수행하는 요소임을 강력히 지지한다. 따라서 스펙트럼 상의 '라운드한' 상위 계수는 모델 계산의 핵심적 부분으로 간주될 수 있다.

학습 동역학 관찰을 위해 공개 체크포인트를 시간 순으로 점검한 결과 구조가 학습 과정에서 생성되는 시점과 패턴이 확인됐다. 관측된 패턴은 초기에는 무신호 상태에서 시작해 토큰 임베딩이 먼저 깨어나며(step 256), 이후 피크를 거쳐 약 step 4000 근처에서 안정된 고원 상태로 정착했다는 것이다. 제어 실험에서는 그래디언트 단계에서도 극히 초기에 관련 신호가 전달되어(step 4) 옵티마이저 구성과 업데이트가 구조 형성에 결정적 역할을 함이 확인됐다. 이러한 시간 축 관찰은 구조의 기원과 옵티마이저의 기여를 실험적으로 연결하는 근거를 제공했다.

모델이 학습 데이터를 기억하는 양상도 수치적으로 검출됐다. 연구진의 프로브는 해당 모델의 학습 코퍼스를 후보 목록에서 가장 높은 순위로 판별했고 공개 텍스트의 일부는 단어 단위로 정확히 재생(예: 게티스버그 연설에서 9단어가 일치)하는 사례가 보고됐다. 반면 모델이 본 적이 없는 텍스트에 대해서는 동일한 재생이 관찰되지 않아 재현성 높은 기억 신호와 비기억 텍스트의 구분이 가능했다. 이 관찰은 모델 내부 스펙트럼 신호가 단순한 통계적 흔적이 아니라 학습 데이터의 구체적 보존과 연결되어 있음을 시사한다.

추론과 관련해 '생각하는' 텍스트와 응답 텍스트 사이에 계수 기반 서명 차이가 존재했고 어텐션 분포는 이론적으로 예측된 캐스케이드(1/2, 1/4, 1/8...)에 가까운 형태로 12개 레이어 전부에서 관찰됐다. 검출 방법은 텍스트 유형을 입력으로 받아 대응하는 스펙트럼·계수 분포를 비교하는 방식으로, 이로써 추론 과정의 정량적 지표가 생성됐다. 어텐션의 계단식 감쇠 패턴은 정보가 레이어를 통해 점진적으로 압축되는 양상을 반영하며, 이는 추론 메커니즘을 수치적으로 추적하는 새로운 단서를 제공한다.

연구 결과와 도구는 공개 저장소와 학술 아카이브에 업로드돼 완전한 재현 가능성을 목표로 구성됐다. 깃허브 리포지토리의 인터프리터빌리티 안내서와 논문·데이터 번들(zenodo DOI)이 함께 제공돼 한 명령으로 실험 핵심 결과를 새 기기에서 재현하도록 설계됐다. 현재는 모델 크기별로 피크 위치의 이동 여부를 보는 스케일링 실험과 어텐션의 마지막 남은 조용한 영역을 검증하는 후속 실험이 진행 중이다. 이 공개성은 다른 연구자가 동일 절차로 교차검증하거나 추가 실험을 수행할 수 있는 기반을 만든다.

용어 해설

스펙트럴 분해(Spectral Decomposition): — 행렬이나 벡터를 주파수 성분으로 분해해 구성요소별로 분리하는 기법으로, 가중치 공간을 주기·진동 성분으로 표현해 구조적 신호와 무작위 통계를 구별하는 데 사용된다. 이 글에서는 모델 가중치를 푸리에 유사 기저로 변환해 '생존하는' 계수를 식별하는 방식으로 적용돼 학습으로 생성된 구조를 추출했다. 스펙트럼 성분은 특정 계수 제거 실험에서 모델 성능에 직접적인 영향을 미치는지 평가하는 근거로 활용됐다.
스펙트럴 계수(Spectral Coefficients): — 스펙트럴 분해 결과로 얻어지는 스칼라 계수로, 원래 가중치 벡터를 특정 기저(예: 사인/코사인 성분)로 표현할 때의 계수들이다. 본 연구에서는 가장 '크게 빛나는' 계수들이 모델의 계산적 기능을 담고 있는지 여부를 실험적으로 검증해 상위 1.5% 계수 제거가 모델을 파괴함을 확인했다. 계수 분포와 제거 실험은 구조적 신호와 통계적 잔여를 분리하는 핵심 측정치이다.
토큰 임베딩(Token Embedding): — 단어·토큰을 연속 실수 벡터로 매핑하는 파라미터 테이블로, 입력 텍스트를 모델이 처리할 수 있는 기하학적 표현으로 변환한다. 이 글에서는 모든 테스트된 모델에서 토큰 임베딩이 스펙트럼 상에서 일관된 '법칙'을 담고 있는 위치로 확인돼 계산적 핵심이 임베딩 쪽에 집중됨이 관찰됐다. 임베딩 내 구조는 이후의 계산 흐름과 기억·추론 특성에 직접적인 영향을 미쳤다.
어텐션 캐스케이드(Attention Cascade): — 여러 계층의 어텐션 행렬이 특정 비율로 신호를 전달하면서 점진적으로 축약되는 패턴을 의미하며, 이 글에서는 각 레이어의 어텐션이 1/2, 1/4, 1/8 비율로 감쇠하는 이론적 예측과의 일치성이 관찰됐다. 관찰된 캐스케이드는 모델의 정보 흐름과 추론 단계별 기여를 정량화하는 근거로 사용됐다. 어텐션의 분포 차이는 '생각하는' 텍스트와 출력 텍스트 사이의 서명 차이로 연결됐다.
학습 체크포인트(Training Checkpoint): — 학습 과정 중 특정 시점에 저장된 모델 파라미터 스냅샷으로, 시간축에 따른 내부 구조의 형성·정착 과정을 추적하는 데 사용된다. 이 글에서는 체크포인트를 연속적으로 검사해 토큰 임베딩의 '각성'과 피크, 안정화 시점을 step 단위로 관찰했다. 체크포인트 기반의 실험은 학습 도중 구조의 도입 시점과 옵티마이저의 기여를 검증할 근거가 되었다.