반복 블록을 순환하는 재귀적 깊이 트랜스포머의 길이 외삽성과 테스트 시 계산 전략에 관한 통제된 실험

작성자는 위치 불변성 경계와 잡음 대역 방법론에 대한 피드백과 반박을 요청했다. 이러한 초점은 실험 설계와 재현성에 대한 토론을 촉발할 가능성이 높으며 일부 독자는 통제된 대조군과 수치적 잡음 분석을 긍정적으로 평가할 것으로 보인다. 동시에 작은 규모에서의 부정적 결과가 대형 모델 일반화에 대한 해석을 제한한다고 받아들이는 반응도 예상된다.

• 길이 외삽을 목적으로 반복 구조를 실험할 때는 각 반복 단계에 대해 명시적 목표를 주는 per-step(iterative-target) 감독을 적용할 것을 권장한다. 이 방식은 각 반복 출력에 손실을 계산해 역전파하는 절차를 포함하며 위치 불변성 조건을 확인해야 외삽 이점을 얻을 가능성이 커진다. 실험 설계에서 규칙이 루프 인덱스에 의존하는지 여부를 분명히 검증해야 한다.
• 테스트 시 계산량 적응이 필요하면 LoRA 기반의 iterative-target 파인튜닝과 하드 중단 기준, 다중 패스 추론을 조합하는 방법을 고려할 수 있다. 저자 실험에서는 약 31K의 학습 가능한 파라미터로 합성 체인 태스크에서 훈련 깊이의 최대 256배까지 100% 정확도를 확인했다. 실제 적용에서는 중단 기준과 다중 패스 정책을 작업별로 튜닝해 비용-성능 균형을 평가해야 한다.
• 새로운 아키텍처 우위를 주장할 때는 동일 파라미터 수 조건의 밀집 baseline과 체크포인트 간 변동을 잡음 대역으로 정량화해 비교해야 한다. 저자의 경우 GSM8K-1319에서 ±0.6pp 범위를 잡음 대역으로 제시했으므로 유사한 정량화 절차를 도입하면 주장 신뢰도를 높일 수 있다. 이 절차는 특히 소규모 실험에서 과잉해석을 방지하는 데 유용하다.

Recurrent Depth

— 하나의 블록을 반복적으로 N회 적용하여 전체 모델 깊이를 재현하는 구조로, 매 반복마다 같은 블록 파라미터가 재사용된다. 입력은 동일한 블록을 여러 번 순환하며 블록 내부의 계산이 반복되어 출력이 생성된다. 이 방식은 파라미터 수를 늘리지 않고 깊이를 확장하려는 실험에서 중요하게 취급된다.

Iterative-Target Supervision

— 각 반복 단계마다 중간 출력을 감독 신호로 사용하는 학습 방식으로, 각 반복의 출력이 명확한 목표값을 갖도록 훈련한다. 입력 시퀀스와 반복된 블록의 출력을 단계별로 비교해 손실을 계산하고 역전파가 이루어진다. 이 방식은 반복 구조가 훈련된 깊이를 넘어 일반화할 수 있는지를 결정하는 핵심 요소로 작동한다.

Position Invariance

— 루프 인덱스에 의존하지 않고 각 반복 단계에서 동일한 규칙이 적용되는 속성으로, 모델이 반복 횟수에 관계없이 동일한 연산을 수행할 때 성립한다. 입력이 어느 반복 단계에서 처리되든 규칙이 달라지지 않으면 길이 외삽이 가능해진다. 반복 기반 일반화 실험에서 재현성과 확장성을 판단하는 중요한 조건으로 사용된다.

Fixed-point Dynamics

— 반복 블록을 여러 번 적용했을 때 숨겨진 상태가 반복 적용 후에 변하지 않는 상태에 수렴하는 현상으로, 블록 함수의 고정점에 도달함을 의미한다. Q/K/V 투영의 활성화가 루프 동안 수렴하면 블록의 반복이 고정점 동작으로 설명될 수 있다. 이 현상은 반복 깊이 증가 시 모델 동작의 메커니즘을 해석하는 단서가 된다.