Loopie: 루프드 Transformer 계열의 고성능 MoE 모델

왜 중요한가

Loopie는 루프드 Transformer라는 설계가 단순 반복만으로는 대규모 파라미터 확장에 못 미치던 한계를 극복할 수 있음을 실험적으로 보여주었다. MoE 구조를 도입해 전체 파라미터는 크게 유지하면서도 입력당 활성 파라미터를 작게 잡아 연산 효율성을 확보한 점이 핵심적이다. 논문은 동일한 사전학습 계산량 하에서의 비교와 국제 수준의 수학·물리 추론 평가(IMO·IPhO 금메달 성과)를 근거로 이 접근이 고난도 추론능력까지 확보했음을 제시한다.

핵심 기여

Loopie 계열의 MoE 기반 루프드 Transformer 설계

Loopie는 두 가지 스케일의 MoE 루프드 Transformer로 구성되어 있으며 구체적으로 20B 파라미터 모델에서 2B가 활성화되는 구성과 6B 모델에서 0.6B가 활성화되는 구성을 포함한다. 이 설계는 전체 모델 용량을 크게 유지하면서 입력 단위 연산을 활성 전문가 수로 제한해 계산 효율을 확보하는 방향으로 설계되었다. 모델 계열은 '가장 강력한 루프드 Transformer'라는 표현과 함께 동일 계산량 조건에서 비교 가능한 경쟁력을 갖추는 것을 목표로 했다.

사전학습 계산량 대비 파라미터 확장 문제에 대한 해결

기존에는 사전학습 계산량이 N배로 늘어날 때 파라미터 수를 N배로 늘리는 것이 동일 모델을 N번 반복하는 것보다 성능이 우수한 경향을 보였다. Loopie는 MoE 기반의 활성 파라미터 전략과 루프드 실행을 결합해 이러한 불리함을 극복하려는 목적을 가졌다. 동일한 계산 예산 내에서 루프드 구조가 밀도 모델과 경쟁 가능한 성능을 낼 수 있음을 실험적으로 확인했다.

동일한 계산량 조건에서 vanilla Transformer 대비 우수성 입증

광범위한 제거 실험과 함께 vanilla 30B-A3B 모델과 동일한 학습 예산을 사용한 비교에서 Loopie가 우수한 성능을 보였다. 이러한 비교는 단순한 모델 크기 비교를 넘어 계산량을 맞춘 실험 설계로 설계 결정의 타당성을 강화했다. 결과는 루프드 설계가 단순 반복 이상의 이점을 가질 수 있음을 실증하는 근거가 되었다.

추론 성능 강화를 위한 사후 학습 파이프라인 적용

논문은 'novel post-training pipeline'을 도입해 Loopie에게 강한 추론 능력을 부여했다고 보고했다. 이 파이프라인은 사전학습 이후 단계에서 모델의 추론적 역량을 추가적으로 향상시키는 역할을 하며, 그 결과 국제 수준의 수학·물리 경시대회에서 높은 성과를 냈다. 파이프라인의 구체적 구성과 절차는 본문에서 상세히 검증되었다고 명시되어 있다.

광범위한 제거 실험을 통한 설계 검증

논문은 다양한 ablation study를 수행해 각 설계 요소가 성능에 미치는 영향을 정량적으로 평가했다. 이러한 실험은 루프 수, 전문가 수, 활성 파라미터 비율 등의 설계 변수가 최종 성능에 어떤 기여를 하는지에 대한 근거를 제공했다. 제거 실험 결과는 Loopie 설계가 단순한 하이퍼파라미터 조정 이상의 구조적 이점을 제공함을 시사했다.

핵심 아이디어 이해하기

루프드 Transformer 접근은 동일한 블록을 반복 실행하여 유효 계산 깊이를 늘리는 방식으로 모델의 표현력을 확장하려는 발상이다. 그러나 사전학습 계산량을 N배로 늘릴 수 있을 때 동일한 계산을 사용해 파라미터를 N배로 키우는 것이 단순히 블록을 N번 반복하는 것보다 더 나은 성능을 내는 관찰이 지속되어 왔다. 이 문제는 반복 실행만으로는 표현력과 일반화 능력에서 파라미터 확장의 이점을 온전히 흡수하지 못한다는 한계를 드러낸다.

Loopie의 핵심 아이디어는 MoE 구조와 루프드 실행을 결합해 이 한계를 완화하는 것이다. MoE는 다수의 전문가를 보유하되 게이트를 통해 일부 전문가만 활성화하므로 입력당 활성 파라미터 수가 전체 파라미터보다 작다. 이 특성은 모델의 전체 용량을 크게 하면서도 토큰당 연산을 제어할 수 있게 해 주므로, 동일한 총 계산량 하에서 더 큰 용량의 표현력을 활용할 수 있게 만든다.

여기에 사후 학습(post-training) 파이프라인을 추가해 추론 능력을 집중적으로 향상시킴으로써 단순한 표층 성능을 넘어 고난도 추론 과제에서도 경쟁력을 확보했다. 실험 결과는 Loopie가 동일 계산량의 vanilla 30B-A3B 계열보다 우수한 성능을 보였고, 국제 경시대회 수준의 추론 작업에서도 상위 성과를 기록했다. 따라서 Loopie는 루프드 실행이 적절한 구조적 보완과 함께할 때 파라미터 확장 전략과 경쟁할 수 있음을 입증한다.

방법론

전체 접근은 대용량 MoE 모델을 루프드 Transformer 방식으로 구성하고 동일한 사전학습 계산 예산을 기준으로 밀도형(vanilla) Transformer와 직접 비교하는 실험 설계로 이루어졌다. 구체적으로 두 가지 스케일의 모델을 준비했으며 각각 전체 파라미터와 입력당 활성 파라미터 수를 분리해 표기했다(20B 모델에서 2B active, 6B 모델에서 0.6B active). 이러한 구성은 전체 용량과 활성 연산량을 독립적으로 제어하면서 계산 예산 대비 성능을 평가할 수 있게 했다.

핵심 메커니즘은 MoE의 전문가 게이팅과 루프드 실행의 반복적 계산을 결합하는 데 있다. MoE는 입력별로 일부 전문가를 선택해 활성 파라미터만 연산에 참여시키고, 루프드 Transformer는 동일 블록을 여러 번 적용해 네트워크의 유효 깊이를 증가시킨다. 논문에서는 이 두 요소의 조합이 계산 대비 표현력의 균형을 개선하는지를 확인하기 위해 광범위한 ablation study를 수행했고, 추가로 사후 학습 단계에서 추론 역량을 강화하는 전용 파이프라인을 적용해 평가했다.

주요 결과

주요 실험 결과는 동일한 사전학습 계산량 조건에서 Loopie가 vanilla Transformer 기반의 비교군보다 우수한 성능을 보였다는 것이다. 논문은 특히 vanilla 30B-A3B 모델과의 직접 비교에서 Loopie의 우위를 보고했으며, 이러한 비교는 계산 예산을 통일한 실험 설계 하에서 이루어졌다. 이 결과는 루프드 구조와 MoE 결합이 단순 반복만으로는 얻기 힘든 성능 이점을 제공함을 시사한다.

추론 능력 측정에서는 Loopie가 2025년 IMO와 IPhO에서 금메달 수준의 성과를 달성했다고 보고되었다. 해당 결과는 수학 및 물리 문제에 대한 고난도 추론 역량을 반영하는 것으로, 사후 학습 파이프라인이 추론 성능 향상에 실질적 기여를 했음을 의미한다. 추가적으로 광범위한 제거 실험 결과들이 설계 요소별 기여를 뒷받침하며, 특정 구성 요소의 제외가 성능 저하로 이어짐을 계량적으로 보여주었다.

기술 상세

전체 아키텍처는 Mixture-of-Experts 기반의 Transformer 블록을 루프드 방식으로 반복 적용하는 형태로 구성된다. 두 가지 스케일은 총 파라미터 수와 입력당 활성 파라미터 수를 분리해 표기하며, 20B/2B active와 6B/0.6B active 구성이 보고되었다. MoE 구성은 다수의 전문가와 게이팅 메커니즘을 포함해 입력별로 활성 전문가를 선택하도록 설계되어 있다.

MoE의 수학적/알고리즘적 기반은 게이트 함수가 각 토큰에 대해 전문가 집합 중 일부를 선택하고 선택된 전문가들만이 해당 토큰의 연산에 기여하는 점에 있다. 이로 인해 전체 파라미터는 크지만 토큰당 연산량은 활성 전문가 수에 의해 결정되며, 결과적으로 높은 용량을 비용 효율적으로 활용할 수 있다. 루프드 Transformer의 반복 실행은 동일 블록을 여러 번 전파하여 유효 깊이를 확장하고, 이 반복은 모델의 계산 경로를 길게 만들어 더 복잡한 표현을 학습할 기회를 제공한다.

논문은 이러한 구조적 결합이 기존의 단일 통합 규모 확장과 다른 트레이드오프를 만들며, 제거 실험을 통해 어떤 구성 요소가 성능에 결정적 기여를 하는지를 정량적으로 확인했다. 사후 학습 파이프라인은 사전학습 후 단계에서 추가적인 데이터나 정교한 학습 절차를 통해 추론 능력을 강화하는 역할을 하며, 이 파이프라인의 구체적 절차와 하이퍼파라미터는 본문에 기술되어 있다. 상세한 수치적 설정, 게이팅 함수의 형태, 전문가 수와 루프 수의 조합 등 세부 구현은 논문 전문을 참조해야 한다.

키워드

Loopie(Loopie)Mixture-of-Experts(MoE·혼합 전문가)Looped Transformer(루프드 Transformer)Active parameters(액티브 파라미터)Ablation study(제거 실험)

용어 해설

혼합 전문가(MoE)(Mixture-of-Experts (MoE)): — Mixture-of-Experts는 모델 내부에 여러 전문가(expert)를 두고 각 입력에 대해 게이팅 메커니즘으로 일부 전문가만 활성화하여 연산량을 줄이면서 전체 모델 용량을 크게 확장하는 구조이다. 입력별로 활성화되는 전문가가 달라지므로 총 파라미터 수는 크더라도 단일 토큰 처리 시 필요한 연산은 활성 전문가 수에 비례해 줄어든다. 고용량과 낮은 활성 연산량의 트레이드오프를 통해 대규모 모델의 표현력을 비용 효율적으로 확보하는 것이 목적이다.
루프드 Transformer(Looped Transformer): — Looped Transformer는 동일한 Transformer 블록을 여러 번 반복 실행(looping)하여 유효 깊이(effective depth)를 늘리는 설계 방식이다. 모델 파라미터를 직접 늘리는 대신 같은 블록을 반복해 더 긴 계산 경로를 만들어 표현력을 키우는 방식으로, 반복 횟수에 따라 계산량이 증가한다. 사전학습 계산량이 증가할 때 단순 반복이 파라미터 확장에 비해 성능 면에서 불리해지는 문제가 관찰되어 왔다.
액티브 파라미터(Active Parameters): — 액티브 파라미터는 Mixture-of-Experts 구조에서 실제로 한 입력 처리 시 활성화되어 사용되는 파라미터 집합을 가리킨다. 전체 파라미터 수는 크더라도 게이팅에 의해 일부 전문가만 선택되므로 토큰별 연산 비용은 활성 파라미터 수에 의해 결정된다. 논문 맥락에서는 20B 모델에서 2B만 활성화되는 식의 표기법으로 모델의 실질적 연산 규모를 명시한다.
제거 실험(Ablation Study): — Ablation Study는 모델 구성 요소나 학습 절차의 개별 요소를 제거하거나 변경해 각 요소가 최종 성능에 미치는 영향을 정량적으로 평가하는 실험 방법이다. 구성별 성능 차이를 통해 어떤 설계 선택이 성능 향상에 실질적으로 기여했는지를 확인할 수 있다. Loopie는 이러한 광범위한 제거 실험을 통해 설계 결정의 유효성을 검증했다고 보고되었다.

Loopie: 루프드 Transformer 계열의 고성능 MoE 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

키워드

용어 해설

관련 토론

댓글

관련 기사

SMELT: 반복형 MoE Transformer의 계산량 대비 확장 법칙

지식과 추론을 분리한 Mobius

대규모 MoE 학습률을 단계적으로 확장하는 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

키워드

관련 토론

댓글

관련 기사

SMELT: 반복형 MoE Transformer의 계산량 대비 확장 법칙

지식과 추론을 분리한 Mobius

대규모 MoE 학습률을 단계적으로 확장하는 방법