DeepLoop: 루프드 트랜스포머의 깊이 스케일링

루프드 Transformer는 파라미터 수를 늘리지 않고 연산을 순차적으로 반복해 전개된 깊이를 확장할 수 있으나, 동일 파라미터의 다중 방문은 갱신과 재사용이 얽혀 최적화 민감도를 증폭시킬 위험을 낳는다. 이 논문은 방문 정렬(visit alignment)이 얼마나 강한지에 따라 잔차 스케일링 지수가 달라져야 한다는 수학적 근거를 제공하여 안정적 학습 범위를 명확히 규정한다. 실험에서는 반복 횟수가 늘어날수록 기존 규칙 대신 DeepLoop 스케일링이 검증 손실과 다운스트림 정확도에서 유의한 이점을 보였다.

Transformer의 표현력은 깊이에 민감하나 전통적 설계는 깊이 증가 시 새 파라미터를 추가하므로 파라미터와 깊이가 함께 증가한다. 루프드 설계는 K개의 물리 블록을 R번 반복 적용해 전개된 깊이 N=K·R를 얻어 파라미터 수는 K에 고정한 채 표현력과 테스트 시 계산량을 늘린다. 이 방식은 파라미터 공유로 인해 동일 파라미터에 대한 여러 방문이 생성되고, 이들 방문은 학습 시 하나의 파라미터 업데이트를 합산해 적용받는 점에서 기존의 '비공유' 깊이 분석과 본질적으로 달라진다.

루프드 Post-LN 블록을 RMSNorm 기반으로 정형화하고 각 방문 i에 대해 x_{i+1}=Norm(α x_i + f_j(x_i;ϕ_j))라는 전방 점화식을 설정했다. 여기서 α는 스킵 연결 스케일, β는 잔차 브랜치 행렬의 초기화 게인으로서 DeepLoop은 β와 α의 비율이 방문 집계로 인한 1차 민감도에 직접 영향을 준다는 점을 출발점으로 삼았다. 방문별 효과를 U_{r,j} (출력 민감도)와 G_{r,j} (효과적 업데이트)로 나타내고, 묶인 업데이트의 출력 민감도는 (∑r U{r,j})(∑t G{t,j}) 꼴의 이중합으로 표현되어 방문 정렬 계수 κ_R을 통해 상한화되었다.

이론적으로 유도된 루프드 바운드는 출력 변화의 1차 항에 대해 ∥ΔF∥ ≤ C·M·κ_R·(β/α)^2를 제공하며, 고정된 K에서 정렬이 심한 경우 κ_R=Θ(R)에 따라 지수 p의 임계값은 1/2로 상승함이 도출되었다. 실험적으로 GPT-2 small/medium 스타일의 통제된 전이학습에서 R=1인 경우 DeepLoop은 기존 스케일과 성능이 유사했고 R>1에서는 검증 손실과 다운스트림 평균 정확도가 개선되는 경향을 보였다. Appendix C의 p 스윕 결과는 경험적 안정성 경계가 p=1/2 예측과 일치함을 나타냈다.

전체 아키텍처는 Post-LN 루프드 Transformer로서 각 물리 블록은 attention과 MLP의 두 잔차 서브레이어를 포함하며, J=2K개의 물리 서브레이어와 총 방문 수 M=J·R=2N을 정의한다. 핵심 수식은 방문 정렬 계수 정의 κ_R:=max_j (‖∑r U{r,j}‖·‖∑r G{r,j}‖)/(R C_U C_G (β/α)^2)이며, 이를 통해 바운드 ∥ΔF∥ ≤ C''·M·κ_R·(β/α)^2가 도출된다. DeepLoop은 이 바운드를 상수로 유지하기 위해 스케일링 가족 α=(cN)^p, β=(dN)^{-p}에서 p≥(1+γ)/4 조건을 도출하고 정렬된 방문(γ=1)에서는 p≥1/2가 필요함을 보였다.

분석은 Assumption 3.1의 DeepNorm-스케일 로컬 민감도 조건에 의존하며 이 가정은 폭(width), 헤드 수, 옵티마이저 전처리 등 상수들을 O(·) 표기 안으로 흡수해 다룬다. DeepLoop은 보수적인 패러미터 규칙으로서 모든 실제 모델이 최악의 정렬에 도달하지 않는 경우에는 필요 이상으로 보수적일 수 있다는 점이 논문에 명시되어 있다. 계수 κ_R의 실제 값과 방문 정렬 정도는 데이터·옵티마이저·아키텍처에 따라 달라지므로 p=1/2가 모든 상황에서 최적이라는 주장은 없고 경험적 검증이 권장된다.