MettaMazza의 UnisonAI 공개와 가중치 스펙트럼 분석 결과. 학습된 모델 가중치를 기저로 변환해 구조적 신호를 분리하는 도구와 논문이 포함되어 있다. 토큰 임베딩에서 반복적으로 동일한 계산적 '법칙'이 관찰됐다.

커뮤니티 반응은 대체로 흥미와 경계가 공존하는 형태였다. 여러 참여자가 깃허브와 도구를 즉시 복제해 자체 체크포인트에서 동일 검증을 시도했고 일부는 제시된 수치와 샘플 재현을 확인했다고 보고했다. 동시에 '계수 제거가 실제 계산을 직접적으로 나타내는가'라는 해석적 질문과 재현성 조건, 옵티마이저·데이터셋 의존성에 대한 추가 검증 요구가 제기됐다. 전반적으로 공개된 코드와 체크포인트가 토론을 촉발하는 촉매 역할을 했다는 합의가 형성됐다.

• 깃허브 리포지토리를 복제하고 안내된 한 줄 명령으로 제공된 체크포인트에서 주요 실험을 재현하면 원문에서 제시한 수치 파일을 직접 확인할 수 있다.
• 상위 스펙트럴 계수 제거 실험은 민감한 변형을 포함하므로 복제 실험 시 동일한 전처리·기저 변환 절차와 랜덤 시드를 엄격히 일치시켜야 결과 비교가 유효하다.
• 학습 동역학을 추적하려면 공개 체크포인트를 시간 순으로 불러와 스펙트럼 계수 변화를 기록하면 임베딩 각성 시점과 피크 형성 시점을 재현해 분석할 수 있다.

Spectral Decomposition

— 행렬이나 벡터를 주파수 성분으로 분해해 구성요소별로 분리하는 기법으로, 가중치 공간을 주기·진동 성분으로 표현해 구조적 신호와 무작위 통계를 구별하는 데 사용된다. 이 글에서는 모델 가중치를 푸리에 유사 기저로 변환해 '생존하는' 계수를 식별하는 방식으로 적용돼 학습으로 생성된 구조를 추출했다. 스펙트럼 성분은 특정 계수 제거 실험에서 모델 성능에 직접적인 영향을 미치는지 평가하는 근거로 활용됐다.

Spectral Coefficients

— 스펙트럴 분해 결과로 얻어지는 스칼라 계수로, 원래 가중치 벡터를 특정 기저(예: 사인/코사인 성분)로 표현할 때의 계수들이다. 본 연구에서는 가장 '크게 빛나는' 계수들이 모델의 계산적 기능을 담고 있는지 여부를 실험적으로 검증해 상위 1.5% 계수 제거가 모델을 파괴함을 확인했다. 계수 분포와 제거 실험은 구조적 신호와 통계적 잔여를 분리하는 핵심 측정치이다.

Token Embedding

— 단어·토큰을 연속 실수 벡터로 매핑하는 파라미터 테이블로, 입력 텍스트를 모델이 처리할 수 있는 기하학적 표현으로 변환한다. 이 글에서는 모든 테스트된 모델에서 토큰 임베딩이 스펙트럼 상에서 일관된 '법칙'을 담고 있는 위치로 확인돼 계산적 핵심이 임베딩 쪽에 집중됨이 관찰됐다. 임베딩 내 구조는 이후의 계산 흐름과 기억·추론 특성에 직접적인 영향을 미쳤다.

Attention Cascade

— 여러 계층의 어텐션 행렬이 특정 비율로 신호를 전달하면서 점진적으로 축약되는 패턴을 의미하며, 이 글에서는 각 레이어의 어텐션이 1/2, 1/4, 1/8 비율로 감쇠하는 이론적 예측과의 일치성이 관찰됐다. 관찰된 캐스케이드는 모델의 정보 흐름과 추론 단계별 기여를 정량화하는 근거로 사용됐다. 어텐션의 분포 차이는 '생각하는' 텍스트와 출력 텍스트 사이의 서명 차이로 연결됐다.

Training Checkpoint

— 학습 과정 중 특정 시점에 저장된 모델 파라미터 스냅샷으로, 시간축에 따른 내부 구조의 형성·정착 과정을 추적하는 데 사용된다. 이 글에서는 체크포인트를 연속적으로 검사해 토큰 임베딩의 '각성'과 피크, 안정화 시점을 step 단위로 관찰했다. 체크포인트 기반의 실험은 학습 도중 구조의 도입 시점과 옵티마이저의 기여를 검증할 근거가 되었다.