반복 한 번의 가치는 얼마인가? 루프형 언어 모델을 위한 등가 깊이 스케일링 법칙

동일한 레이어를 반복 사용하는 루프형 모델이 실제 고유 레이어를 사용하는 모델 대비 어느 정도의 효율을 갖는지 정량적으로 측정했다. 이를 통해 루프형 아키텍처 설계 시 단순한 손실값 감소를 넘어 실제 추론 비용 대비 성능 이득이 있는지 판단할 수 있는 기준을 제공한다.

기존의 Transformer는 레이어마다 고유한 파라미터를 가지므로 모델이 깊어질수록 메모리 점유율이 선형적으로 증가한다. 반면 루프형 모델은 동일한 레이어를 여러 번 재사용하여 메모리를 아끼면서 깊은 연산을 수행하려 하지만, 과연 '재사용된 레이어'가 '새로운 레이어'만큼의 성능 기여를 하는지는 미지수였다.

이 논문은 Chinchilla 스케일링 법칙을 확장하여 '재귀 등가 지수(phi)'라는 개념을 도입했다. 만약 phi가 1이라면 반복 사용이 새로운 레이어 추가와 완전히 동일한 효과를 내는 것이고, 0이라면 반복해도 성능 이득이 전혀 없는 상태를 의미한다. 연구팀은 실험을 통해 실제 phi 값이 0.46임을 밝혀냈다.

결과적으로 루프형 모델은 동일한 연산량(FLOPs)을 투입했을 때 비재귀 모델보다 더 넓은(wider) 구조를 선택해야 최적의 성능을 낼 수 있다. 이는 파라미터 공유로 인한 표현력 손실을 모델의 너비를 키워 보상해야 함을 수학적으로 증명한 것이다.

연구진은 Prelude-Recur-Coda 템플릿을 사용하여 유효 깊이(Leff)를 20으로 고정한 채 재귀 횟수 r을 {1, 2, 4, 8}로 변화시키며 실험했다. r=1은 일반적인 비재귀 모델이며, r=8은 2개의 레이어를 8번 반복하여 총 16개의 재귀 레이어를 실행하는 구조이다.

전체 파라미터 N을 한 번만 실행되는 부분(Nonce)과 반복 실행되는 부분(Nrec)으로 나누고, 유효 파라미터 수 Neff를 [Nonce + r^phi * Nrec]으로 정의했다. 여기서 r^phi는 r번 반복되는 재귀 블록이 실제로는 r의 phi 제곱만큼의 고유 블록 역할을 한다는 가정을 담고 있다.

손실 함수 L은 E + A * Neff^(-alpha) + B * D^(-beta) 형태로 모델링된다. 여기서 Neff에 phi가 포함되어 있어, 학습 데이터 D와 실제 파라미터 구성에 따른 손실값의 변화를 phi라는 단일 지표로 수렴시킬 수 있다. 최적화 과정에서는 Huber loss를 최소화하여 phi를 포함한 6개의 파라미터를 동시에 추정한다.

기본 모델 아키텍처에서 phi는 0.46으로 측정되었다. 이는 r=4인 410M 루프형 모델이 성능 면에서는 580M 비재귀 모델과 대등하지만, 학습 비용은 1B 비재귀 모델만큼 발생함을 의미한다. 즉, 루프형 모델은 메모리 효율성은 높지만 연산 효율성(Compute-efficiency) 면에서는 손해를 본다.

Hyperconnections를 도입했을 때 phi는 0.65까지 상승했다. 이는 재귀 블록 간의 정보 흐름을 개선함으로써 루프의 가치를 높일 수 있음을 보여준다. 반면 Truncated Backpropagation은 학습 연산량을 줄여주지만 phi를 0.38로 떨어뜨려 루프 메커니즘의 학습 품질을 저하시키는 것으로 나타났다.

다운스트림 벤치마크 분석 결과, 상식 추론이나 독해 능력에서는 루프형 모델이 비재귀 모델과의 격차를 좁히는 모습을 보였으나, 지식 암기(Parametric Knowledge)가 중요한 작업에서는 고유 파라미터 수가 적은 루프형 모델이 일관되게 낮은 성능을 기록했다.

아키텍처는 decoder-only Transformer를 기반으로 하며 RMSNorm, RoPE, Squared-ReLU MLP를 채택했다. 모든 모델은 20개의 유효 레이어를 가지며, r 값에 따라 재귀 블록 내의 레이어 수를 조절하여 토큰당 실행되는 총 레이어 수를 일치시켰다. 학습에는 MuonH 옵티마이저를 사용하고 FineWeb-Edu 데이터셋으로 사전 학습을 진행했다.

스케일링 법칙 피팅 시 Huber loss(delta=10^-3)를 사용하여 이상치에 강건한 추정을 수행했으며, L-BFGS-B 알고리즘으로 500회의 무작위 재시작을 통해 전역 최적해를 찾았다. phi 값의 신뢰 구간은 95% block bootstrap을 통해 [0.41, 0.53]으로 산출되었다.

본 연구는 유효 깊이를 20개 레이어로 고정한 단일 아키텍처 구성에서 수행되었다. 레이어 배분 방식이나 Prelude/Coda의 크기 변화에 따라 phi 값이 변할 수 있으며, 매우 큰 규모의 모델이나 더 많은 재귀 횟수(r > 16)에서의 스케일링 거동은 아직 검증되지 않았다.