Three-Phase Transformer: 디코더 전용 Transformer를 위한 잔차 스트림 구조적 사전 정보

이 논문은 전기 공학의 3상 교류 시스템 개념을 Transformer 아키텍처에 도입하여 학습 효율성을 극대화하는 방법을 제안한다. 추가 파라미터가 거의 없음에도 불구하고 WikiText-103 벤치마크에서 기존 RoPE 기반 모델보다 1.93배 빠른 수렴 속도와 7.2%의 Perplexity 개선을 달성하여 대규모 언어 모델의 학습 비용 절감 가능성을 보여준다.

기존 Transformer의 잔차 스트림은 모든 정보가 뒤섞인 채로 전달되며, 모델은 학습 과정에서 이 혼란스러운 벡터 공간 내에 스스로 질서를 찾아야 한다. 이 논문은 전기 공학의 3상 교류(AC) 시스템에서 영감을 얻어, 벡터 공간을 처음부터 세 개의 위상(Phase)으로 나누고 각 위상이 서로 상쇄되어 합이 0이 되는 기하학적 제약을 부여한다. 이는 모델이 정보를 처리할 때 무작위로 섞이는 대신, 정해진 위상 구조 내에서 정보를 유지하고 변환하도록 유도하는 강력한 유도 편향(Inductive Bias)으로 작용한다.

이 구조적 제약은 Attention과 FFN(Feed-Forward Network) 사이에서 각 채널을 특정 각도로 회전시키는 Givens Rotation을 통해 유지된다. 마치 3상 모터가 회전 자기장을 만드는 것과 유사하게, 모델 내부의 정보는 층을 거듭할수록 일정한 기하학적 패턴을 그리며 흐르게 된다. 이 과정에서 발생하는 '빈 공간(DC 서브스페이스)'에는 Gabriel's Horn이라는 수학적 함수를 이용해 절대적인 위치 정보를 주입한다.

결과적으로 모델은 상대적 위치를 다루는 RoPE와 절대적 위치를 다루는 Gabriel's Horn, 그리고 정보를 구조화하는 3상 채널 분할을 동시에 활용하게 된다. 이는 모델이 데이터의 패턴을 더 빨리 파악하게 하며, 특히 학습 초기 단계에서 베이스라인 모델보다 훨씬 가파른 성능 향상 곡선을 그리게 만드는 핵심 원동력이 된다.

3PT 아키텍처는 표준 SwiGLU, RMSNorm, RoPE, GQA 백본 위에 다섯 가지 핵심 수정을 가한다. 우선 모델 차원 d_model을 N개의 동일한 너비의 스트라이프로 분할한다. [입력 벡터 d_model을 N으로 나누어] → [각각 위상 A, B, C로 할당하여] → [N개의 독립적인 채널 그룹을 생성하고] → [이들이 120도 위상차를 갖는 성분으로 해석되게 한다].

각 블록의 Attention과 FFN 사이에는 PhaseRotationLayer가 삽입된다. [각 위상 i의 채널 쌍에 대해] → [학습 가능한 각도 θ_k와 고정된 위상 오프셋 2πi/N을 더한 Givens 회전을 적용하여] → [벡터를 회전시키고] → [위상 간의 기하학적 균형을 유지하면서 정보를 변환한다]. 회전 행렬 R(θ)는 [[cos θ, -sin θ], [sin θ, cos θ]] 형태의 직교 행렬로, 벡터의 노름(norm)을 보존하면서 방향만 바꾼다.

위상 구조를 유지하기 위해 PhaseAwareRMSNorm을 사용한다. [전체 벡터 대신 각 위상 블록 d_phase에 대해] → [독립적으로 평균 제곱(Mean Square)을 계산하고 정규화하여] → [각 위상만의 통계적 특성을 유지하는 출력을 얻고] → [위상 간의 간섭 없이 독립적인 스케일링을 수행한다]. 또한 GQA의 헤드 수를 위상 수 N의 배수로 설정하여 각 헤드가 하나의 위상 내에 완전히 포함되도록 정렬한다.

마지막으로 Gabriel's Horn DC 주입을 수행한다. [각 토큰 위치 p에 대해] → [r(p) = 1/(p+1) 값을 계산하여] → [위상들의 평균값이 위치하던 DC 채널에 더해줌으로써] → [RoPE와 직교하는 절대 위치 신호를 잔차 스트림에 주입한다]. 이는 학습 가능한 파라미터 없이 고정된 버퍼로 작동한다.

WikiText-103 데이터셋에서 123M 파라미터 모델로 실험한 결과, 3PT는 RoPE 전용 베이스라인 대비 Perplexity를 7.20% 감소시켰으며, 이는 비트당 바이트(BPB) 기준으로 -2.62%의 개선에 해당한다. 특히 수렴 속도 측면에서 베이스라인이 30k 스텝에서 도달한 성능을 3PT는 약 15.5k 스텝 만에 달성하여 1.93배의 스텝 수 가속을 보였다. 실제 연산 시간(Wall-clock time) 기준으로는 17%의 스텝당 오버헤드가 발생함에도 불구하고 1.64배의 가속 효과를 유지했다.

Ablation Study를 통해 각 구성 요소의 기여도를 분석한 결과, 3상 채널 분할과 Gabriel's Horn 주입이 가장 큰 성능 향상을 이끌어냈다. 특히 N=3인 경우가 N=1(단일 위상)보다 123M 규모에서 통계적으로 유의미한 우위를 점했으며, 모델 규모가 커질수록 이러한 구조적 사전 정보의 효과가 더 뚜렷하게 나타남을 확인했다. 또한 층 깊이에 따른 회전 각도의 변화를 분석했을 때, 초기 층과 마지막 층에서 변화가 가장 큰 U자형 프로필이 관찰되었다.

3PT의 핵심은 잔차 스트림을 순환 군(Cyclic Group) Z_N의 기하학적 구조로 정형화하는 것이다. d_model 차원은 N개의 위상 V_i로 분할되며, 각 위상은 2πi/N의 고정된 위상 오프셋을 갖는다. 이는 수학적으로 N차 단위근(roots of unity)의 복소 평면상 배치와 대응된다. 모델은 학습 과정에서 이 위상 구조를 스스로 유지하는 '자기 안정화 평형(Self-stabilizing equilibrium)' 상태에 도달하며, 이는 신경망의 보존 법칙(Conservation laws) 프레임워크로 설명 가능하다.

PhaseRotationLayer에서 사용되는 Givens 회전은 비잔차(non-residual) 방식으로 삽입되어 h' = PR(h) 형태로 작동한다. 이는 직교 사상(Orthogonal map)이므로 야코비안(Jacobian)의 특이값이 모두 1이 되어, 깊은 층에서도 그래디언트 소실이나 폭주 없이 안정적인 학습을 보장한다. 또한 회전 각도 θ_k는 층 깊이에 따라 선형적으로 증가하도록 초기화되어 모델이 층별로 서로 다른 주파수 특성을 학습하도록 돕는다.

Gabriel's Horn 주입은 잔차 스트림의 1차원 DC 서브스페이스를 활용한다. 모든 위상의 평균값인 DC 성분을 r(p) = 1/(p+1)로 대체함으로써, 내용(Content)이 담긴 위상 채널들과 기하학적으로 직교하는 위치 신호 채널을 확보한다. r(p) 함수는 지수적 감쇠보다 완만하게 감소하여 긴 시퀀스에서도 위치 변별력을 유지하며, 조화 급수(Harmonic series)의 특성상 총 에너지가 로그 함수적으로 증가하여 안정적인 수치를 유지한다.

이 연구는 123M 파라미터 규모까지의 유효성을 검증했으나, 1B 이상의 초대형 모델에서도 동일한 수렴 가속 효과가 유지될지는 추가 실험이 필요하다. 또한 위상 수 N이 커질수록 헤드당 차원이 줄어들어 성능이 저하되는 현상이 관찰되었으며, 현재의 구현은 파이썬 루프를 포함하고 있어 벡터화 최적화를 통한 추가적인 속도 향상이 과제로 남아있다.