은닉 상태 주입
은닉 상태 주입은 Transformer의 각 층에 외부로부터 계산된 델타 값을 직접 더해 모델의 내부 표현을 미세하게 조정하는 기법이다. 이 실험에서는 작은 C++ 커널이 각 첫 20개 Transformer 층의 은닉 상태에 일정 방향의 미세한 '푸시'를 가해 출력 거동을 변화시켰다. 주입 강도와 소멸 속도 같은 파라미터가 출력 길이와 아키텍처적 시도 정도를 결정하는 핵심 제어 변수가 됐다.