TEST 82: 아키텍처별 정렬 증명과 로그

게시물은 실험 로그와 재현 방법을 함께 제공하여 기술적 검증이 가능한 형태였고, 관심 있는 개발자들은 GitHub 스크립트를 복제해 같은 슬라이더 설정으로 재현할 수 있다는 점에 주목했다. 일부는 아키텍처별 숨겨진 차원 수(1536 vs 1024)가 관찰자 효과와 측정 가능성 차이를 만든다는 점을 강조했고, 다른 일부는 katki와 cos(θ) 해석에서 통계적 변동과 float 정밀도 문제를 지적했다. 전반적으로 실험의 투명성과 반복 가능성은 긍정적으로 받아들여졌으며 추가 질문으로 TEST 83의 결과와 더 다양한 프레이밍에 대한 확장 검증을 요구하는 반응이 있었다.

• 보고된 재현 절차에 따르면 GitHub에 제공된 스크립트를 Colab CPU 런타임에 복사해 동일한 슬라이더 값(ivme=0.75, sonum=0.30, zirve=0.95, taban=0.20)으로 DUAL RUN을 실행하면 로그와 레이어별 값을 확인할 수 있다.
• 레이어별 cos(θ)와 katki 누적 합을 비교할 때는 로그의 원시값과 커널 내부 누적 값(row-sum vs kernel-log)을 함께 대조해 float32/float16 캐스트로 인한 미세한 차이를 검토해야 한다.
• 관찰자 효과를 분리하려면 훅을 제거한 기준 실험(TEST 83)을 먼저 수행한 뒤, 동일 질문을 다양한 프레이밍으로 반복해 L1의 Δ서명이 재현되는지 확인하는 것이 권장된다.

katki

— 이 실험 맥락에서 katki는 각 레이어에 기록되는 누적 '압력' 또는 영향을 정량화한 값으로, 커널이 숨겨진 상태에 쓰는 부호화된 가중치 합계다. katki의 부호와 합계는 커널이 입력 프레이밍에 대해 가속(양수)하거나 제동(음수)하는지를 나타내며, 전체 출력의 방향성에 실질적 영향을 준다. 실험에서는 katki 총합(+0.059226, -0.061882)을 통해 아키텍처별 커널 방향 차이를 수치로 확인했다.

cos(θ)

— cos(θ)는 질문의 윤리적 '컴퍼스' 벡터와 각 레이어의 숨겨진 상태 벡터 사이의 코사인 유사도를 의미하며, 양수이면 정렬(프레이밍과 동일 방향)이고 음수이면 반대 방향임을 뜻한다. 레이어별 cos(θ) 분포는 어떤 레이어들이 입력 프레이밍을 강화하거나 반박하는지를 계층별로 드러낸다. 본문에서는 Qwen에서 모든 스티어드 레이어가 양수였고 TinyLlama에서 L2부터 음수로 전환된 것이 핵심 증거로 사용됐다.

kernel

— 이 문맥에서 커널은 모델의 숨겨진 공간에서 cos(θ)를 측정하고 katki 값을 실제로 계산·기록하는 내부 연산 루틴을 의미하며, 프레이밍에 대한 '압력'을 생성하거나 감쇠하는 역할을 한다. 커널의 부호와 누적값은 최종 생성물의 어휘·구조적 변화에 영향을 미치며 아키텍처별로 서로 다른 방향성을 보일 수 있다. 실험 로그는 커널이 모델의 고유 숨겨진 지오메트리를 따라 작동한다고 보고한다.

Steering

— 스티어링은 동일한 입력에 대해 추가적인 훅(hook)이나 제어 신호를 넣어 모델 출력을 특정한 방향으로 밀어내는 작동으로, 본 실험에서는 'vanilla' 출력과 'steered' 출력을 비교해 효과를 측정했다. 스티어링은 각 레이어에 추가되는 katki 누적을 통해 출력의 어휘적·윤리적 성향을 변화시킬 수 있다. 실험 결과는 스티어링이 두 모델에서 출력 길이와 결론 부분을 확장하는 공통 효과를 보였음을 나타낸다.

Observer effect

— 이 실험에서 관찰자 효과는 훅이 단순히 측정만 하고 아무 것도 쓰지 않아도 L1에서 float 캐스트로 인한 미세한 흔적이 남는 현상을 의미하며, TinyLlama에서 특히 가시적으로 측정되었다. L1의 Δkatki와 Δcos 서명이 반복 실험(TEST 81, 82)에서 재현되었고, 훅이 없는 TEST 83으로 기준선을 얻겠다는 목적이 제시되었다. 관찰자 효과는 숨겨진 차원 수에 따라 측정 가능성에 차이를 만든다.