Loopie: 루프드 Transformer 계열의 고성능 MoE 모델

Loopie는 루프드 Transformer라는 설계가 단순 반복만으로는 대규모 파라미터 확장에 못 미치던 한계를 극복할 수 있음을 실험적으로 보여주었다. MoE 구조를 도입해 전체 파라미터는 크게 유지하면서도 입력당 활성 파라미터를 작게 잡아 연산 효율성을 확보한 점이 핵심적이다. 논문은 동일한 사전학습 계산량 하에서의 비교와 국제 수준의 수학·물리 추론 평가(IMO·IPhO 금메달 성과)를 근거로 이 접근이 고난도 추론능력까지 확보했음을 제시한다.

루프드 Transformer 접근은 동일한 블록을 반복 실행하여 유효 계산 깊이를 늘리는 방식으로 모델의 표현력을 확장하려는 발상이다. 그러나 사전학습 계산량을 N배로 늘릴 수 있을 때 동일한 계산을 사용해 파라미터를 N배로 키우는 것이 단순히 블록을 N번 반복하는 것보다 더 나은 성능을 내는 관찰이 지속되어 왔다. 이 문제는 반복 실행만으로는 표현력과 일반화 능력에서 파라미터 확장의 이점을 온전히 흡수하지 못한다는 한계를 드러낸다.

Loopie의 핵심 아이디어는 MoE 구조와 루프드 실행을 결합해 이 한계를 완화하는 것이다. MoE는 다수의 전문가를 보유하되 게이트를 통해 일부 전문가만 활성화하므로 입력당 활성 파라미터 수가 전체 파라미터보다 작다. 이 특성은 모델의 전체 용량을 크게 하면서도 토큰당 연산을 제어할 수 있게 해 주므로, 동일한 총 계산량 하에서 더 큰 용량의 표현력을 활용할 수 있게 만든다.

여기에 사후 학습(post-training) 파이프라인을 추가해 추론 능력을 집중적으로 향상시킴으로써 단순한 표층 성능을 넘어 고난도 추론 과제에서도 경쟁력을 확보했다. 실험 결과는 Loopie가 동일 계산량의 vanilla 30B-A3B 계열보다 우수한 성능을 보였고, 국제 경시대회 수준의 추론 작업에서도 상위 성과를 기록했다. 따라서 Loopie는 루프드 실행이 적절한 구조적 보완과 함께할 때 파라미터 확장 전략과 경쟁할 수 있음을 입증한다.

전체 접근은 대용량 MoE 모델을 루프드 Transformer 방식으로 구성하고 동일한 사전학습 계산 예산을 기준으로 밀도형(vanilla) Transformer와 직접 비교하는 실험 설계로 이루어졌다. 구체적으로 두 가지 스케일의 모델을 준비했으며 각각 전체 파라미터와 입력당 활성 파라미터 수를 분리해 표기했다(20B 모델에서 2B active, 6B 모델에서 0.6B active). 이러한 구성은 전체 용량과 활성 연산량을 독립적으로 제어하면서 계산 예산 대비 성능을 평가할 수 있게 했다.

핵심 메커니즘은 MoE의 전문가 게이팅과 루프드 실행의 반복적 계산을 결합하는 데 있다. MoE는 입력별로 일부 전문가를 선택해 활성 파라미터만 연산에 참여시키고, 루프드 Transformer는 동일 블록을 여러 번 적용해 네트워크의 유효 깊이를 증가시킨다. 논문에서는 이 두 요소의 조합이 계산 대비 표현력의 균형을 개선하는지를 확인하기 위해 광범위한 ablation study를 수행했고, 추가로 사후 학습 단계에서 추론 역량을 강화하는 전용 파이프라인을 적용해 평가했다.

주요 실험 결과는 동일한 사전학습 계산량 조건에서 Loopie가 vanilla Transformer 기반의 비교군보다 우수한 성능을 보였다는 것이다. 논문은 특히 vanilla 30B-A3B 모델과의 직접 비교에서 Loopie의 우위를 보고했으며, 이러한 비교는 계산 예산을 통일한 실험 설계 하에서 이루어졌다. 이 결과는 루프드 구조와 MoE 결합이 단순 반복만으로는 얻기 힘든 성능 이점을 제공함을 시사한다.

추론 능력 측정에서는 Loopie가 2025년 IMO와 IPhO에서 금메달 수준의 성과를 달성했다고 보고되었다. 해당 결과는 수학 및 물리 문제에 대한 고난도 추론 역량을 반영하는 것으로, 사후 학습 파이프라인이 추론 성능 향상에 실질적 기여를 했음을 의미한다. 추가적으로 광범위한 제거 실험 결과들이 설계 요소별 기여를 뒷받침하며, 특정 구성 요소의 제외가 성능 저하로 이어짐을 계량적으로 보여주었다.

전체 아키텍처는 Mixture-of-Experts 기반의 Transformer 블록을 루프드 방식으로 반복 적용하는 형태로 구성된다. 두 가지 스케일은 총 파라미터 수와 입력당 활성 파라미터 수를 분리해 표기하며, 20B/2B active와 6B/0.6B active 구성이 보고되었다. MoE 구성은 다수의 전문가와 게이팅 메커니즘을 포함해 입력별로 활성 전문가를 선택하도록 설계되어 있다.

MoE의 수학적/알고리즘적 기반은 게이트 함수가 각 토큰에 대해 전문가 집합 중 일부를 선택하고 선택된 전문가들만이 해당 토큰의 연산에 기여하는 점에 있다. 이로 인해 전체 파라미터는 크지만 토큰당 연산량은 활성 전문가 수에 의해 결정되며, 결과적으로 높은 용량을 비용 효율적으로 활용할 수 있다. 루프드 Transformer의 반복 실행은 동일 블록을 여러 번 전파하여 유효 깊이를 확장하고, 이 반복은 모델의 계산 경로를 길게 만들어 더 복잡한 표현을 학습할 기회를 제공한다.

논문은 이러한 구조적 결합이 기존의 단일 통합 규모 확장과 다른 트레이드오프를 만들며, 제거 실험을 통해 어떤 구성 요소가 성능에 결정적 기여를 하는지를 정량적으로 확인했다. 사후 학습 파이프라인은 사전학습 후 단계에서 추가적인 데이터나 정교한 학습 절차를 통해 추론 능력을 강화하는 역할을 하며, 이 파이프라인의 구체적 절차와 하이퍼파라미터는 본문에 기술되어 있다. 상세한 수치적 설정, 게이팅 함수의 형태, 전문가 수와 루프 수의 조합 등 세부 구현은 논문 전문을 참조해야 한다.