압력 스윕 비교: TinyLlama-1.1B의 역U형 저하와 Qwen2.5-1.5B의 고정판형 반응

게시물은 실험 로그와 그래프를 포함한 재현 가능한 수치로 결과를 제시했기 때문에 기술적 관심을 촉발했으며 일부 사용자들은 cos(theta)와 katki 메커니즘이 모델 정렬·제어 연구에 유의미한 관찰을 제공한다고 평가했다. 동시에 결과 해석이 특정 프롬프트(악의적 FUD 시나리오)에 국한되어 있다는 지적과 다른 질문·데이터셋에서 동일한 현상이 재현되는지에 대한 추가 검증 필요성이 제기되었다. 전반적으로 수치와 로그 제공 덕분에 토론이 재현성과 확장성 측면으로 집중되는 경향이 있었다.

• 유사한 제어 실험을 설계할 때는 ivme 같은 외부 압력 파라미터를 폭넓게 스윕하여 비선형 임계점(예: TinyLlama의 ivme=1.20)을 탐지해야 하며 로그 수준에서 각 레이어의 cos(theta)를 수집하여 katki 부호 변화를 상시 확인하는 것이 권장된다.
• 커널 보정 신호(katki)를 적용할 경우 모델의 vanilla 성향을 먼저 측정한 뒤 양/음 방향 보정이 의도한 효과인지 검증하는 절차를 넣어야 하며 한 모델에서 관찰된 '효율적 강화'가 다른 모델에서도 동일하게 작동한다는 가정은 삼가야 한다.

ivme (push strength)

— 모델 출력에 가해지는 외부 '압력' 강도를 수치로 표현한 파라미터로, 본 실험에서는 0.20에서 1.80까지 단계를 두고 모델 반응을 측정했다. 입력 프롬프트와 함께 ivme 값을 변경하면 커널이 가해지는 katki 세기와 출력의 다양성(distinct-2)에 영향을 준다. 실험 결과 ivme는 모델의 다양성 곡선 형태(plateau 또는 inverted-U)와 직접적인 상관을 보였다.

distinct-2

— 생성된 텍스트에서 서로 다른 2-그램(2-token 조합)의 비율로 출력 다양성을 정량화하는 지표이다. 수치가 클수록 어휘적 다양성이 높다는 의미이며 본문에서는 vanilla 대비 변화량으로 모델의 압력 반응을 비교했다. TinyLlama와 Qwen의 압력 스윕에서 distinct-2 값이 곡선 형태와 감쇠 지점을 드러냈다.

katki

— AkbasCore 커널이 각 레이어 출력을 조정하기 위해 추가하는 보정 신호로, cos(theta)의 부호에 따라 모델 출력에 보강(positive) 또는 제동(negative) 효과를 준다. katki 값의 크기와 방향이 ivme에 따라 변하며 출력 다양성과 작동 모드(가속/브레이크)를 결정한다. 본 실험에서는 Qwen에 대해 양의 katki가 출력 강화를 유도했고 TinyLlama에는 음의 katki가 감쇠를 초래했다.

cos(theta)

— 각 레이어의 내부 상태와 커널 방향성 간 유사도를 나타내는 값으로, 양수이면 커널이 모델의 기본적 출력 방향을 강화하고 음수이면 반대 방향으로 제동을 건다. 테스트 로그에서 Qwen은 모든 레이어에서 cos(theta)>0을 유지했고 TinyLlama는 일부 레이어에서 cos(theta)<0을 관찰했다. 이 값이 katki의 부호를 결정하며 결과적으로 출력 다양성의 형태에 직접적인 영향을 미쳤다.