한 층만 훈련해도 충분한가: 단일 Transformer 층 학습으로 전체 파라미터 RL 훈련과 동등하거나 더 나은 성능 달성

대형 언어모델의 RL 후학습이 모델 전체에 균일하게 분포한다고 가정하면 계산·메모리 비용이 크게 발생한다는 문제가 있다. 본 연구는 RL-induced 개선이 소수의 층에 집중되어 있음을 발견하여 업데이트 대상 파라미터를 줄일 수 있는 근거를 제공했다. 이 발견은 RL 비용과 복잡도를 낮추면서도 동등하거나 더 나은 성능을 얻을 수 있는 실용적 경로를 열었다.

Transformer는 층별로 서로 다른 표현과 계산을 학습하여 입력 토큰을 점진적으로 변환하며, 기존의 RL 후학습은 모든 층을 동등하게 업데이트한다는 가정을 따른다. 이 방식은 전체 파라미터 공간을 동시에 조정하므로 계산·메모리 비용이 크고 층별 역할 차이를 반영하지 못할 수 있다. 본 연구는 이러한 균일한 업데이트 가정이 실제로는 불필요한 경우가 많음을 보여주었다.

각 층을 독립적으로 RL로 업데이트하는 단일층 학습 실험은 그 층의 파라미터 하위공간이 RL 신호를 흡수할 수 있는지 직접적으로 평가하는 방법이다. 구체적으로 각 층 k만 gradient를 적용하고 나머지 층은 동결한 뒤 평가 점수의 개선분을 풀-파라미터 RL의 개선분으로 나누어 층 기여도 𝒞(k)을 계산했다. 이 방식은 동일한 학습 설정과 동일한 평가 집합을 사용해 층별 비교를 공정하게 만들었다.

실험 결과 대부분의 모델에서 중간층들이 상대적으로 높은 𝒞(k)을 보였고, 몇몇 중간층은 단일층 학습만으로 전체 RL을 능가했다. 반면 입력쪽과 출력쪽 층들은 낮은 기여도를 보였으며 어떤 경우에는 단독 학습이 성능을 저하시켰다. 이러한 패턴은 데이터셋·과제·알고리즘을 바꿔도 일관되게 관찰되어 층 기여도가 모델 내부 구조의 고유한 성질임이 확인되었다.

연구의 핵심 실험은 '층을 하나만 업데이트'하는 통제된 프로토콜에 기반한다. 사전학습된 Transformer 모델에서 임베딩과 헤드 등은 동결하고, 각 층 k마다 독립적으로 GRPO 등 RL 알고리즘으로만 해당 층 파라미터를 갱신한 뒤 동일한 평가 벤치마크로 성능을 측정했다. 이렇게 얻은 S_k 값을 기준으로 기본 모델 S_base와 풀-파라미터 학습 S_full의 차이에 대한 비율로 𝒞(k)을 계산해 층별 기여도를 정량화했다.

공정한 비교를 위해 풀-파라미터 기준선의 학습률을 하이퍼파라미터로 최적화한 뒤 동일한 학습률과 동일한 학습 스텝을 단일층 실험에 적용하여 풀-파라미터가 불리하지 않도록 설계했다. 추가로 학습률 민감도 분석을 수행해 학습률 변경이 층 순위에 큰 영향을 주지 않음을 확인했다. 실험군은 Qwen3 계열(1.7B, 4B, 8B)을 주축으로 Qwen2.5 계열과 distilled 모델을 포함해 총 일곱 모델·여러 데이터셋과 세 가지 RL 알고리즘을 포괄하도록 구성되었다.

층 기여도 기반 실용 전략으로는 상위 k개 층의 학습률을 증폭시키거나 상위 k개 층만 학습하는 선택적 훈련, 그리고 프로파일링을 생략한 채 중앙 위치의 k개 층만 학습하는 위치 기반 휴리스틱을 평가했다. 각 전략은 동일한 평가 집합에서 평균과 표준편차를 3회 반복 실행하여 통계적 안정성을 확보했다. 또한 서로 다른 층으로 학습된 모델들 간의 해답 중첩을 Jaccard 지수로 측정하고 다수결 앙상블의 성능도 비교했다.

주요 결과로 Qwen3-1.7B, 4B, 8B에서 중간층들이 높은 기여도를 보였고 일부 중간층은 𝒞(k)≥1.0로 단일층 학습만으로 풀-파라미터 RL의 이득을 재현하거나 초과했다. 예를 들어 Qwen3-1.7B에서는 최고층이 𝒞=1.14를 기록했고 Qwen3-8B에서는 특정 중간층이 𝒞=1.07을 기록했으며 일부 층은 0.2~0.3 수준으로 매우 낮은 기여를 보였다. 풀-파라미터 학습과 비교한 전체 성능 지표에서도 단일층 상위 선택이 동일하거나 더 나은 결과를 낸 경우가 반복적으로 관찰되었다.

층 기여도 순위는 데이터셋과 과제를 바꿔도 강하게 일관되었고, 동일 모델 내에서 NuminaMath-CoT와 DeepScaleR 간의 Spearman 상관계수는 ρ=0.76으로 높게 관찰되었으며 수학과 코드 간 교차과제에서도 ρ=0.59를 기록했다. 이 결과는 층 기여도가 특정 데이터셋 고유의 현상이 아니라 사전학습된 가중치 구조에서 기인함을 시사한다. 또한 풀-파라미터 학습 시 각 층의 파라미터 변화량은 비교적 균일했으나 단일층 학습 시 해당 층의 변화량은 더 커지는 경향을 보였고, 변화량 자체는 기여도를 설명하지 못했다.

층 기반 학습 전략의 실용적 이득도 확인되었다. 상위 10개 층(B10)에 학습률을 증폭한 Boost B10 전략은 Qwen3-1.7B에서 기준선 대비 2.88 포인트 향상(전체 RL 향상의 43% 상대)을 보였고 선택적 학습(Only B10)은 Qwen3-8B에서 69.11%의 수학 평균 정확도를 기록해 풀-파라미터(66.43%)를 상회했다. 서로 다른 상위 층으로 학습된 모델 7개를 다수결로 결합한 결과 OlympiadBench에서 33.6%를 달성해 개별 최고층(28.3%)와 풀-파라미터(26.9%)를 모두 능가했다.

실험에 사용된 모델들은 Transformer 기반이며 Qwen3-1.7B는 28개 층, Qwen3-4B/8B는 36개 층 등 다양한 깊이를 포함했다. 각 단일층 실험에서는 해당 층의 파라미터만 requires_grad=True로 설정하고 나머지 파라미터는 동결하여 backpropagation이 전체 네트워크를 통해 계산되지만 업데이트는 한 층으로 제한되도록 구현되었다. RL 알고리즘은 GRPO를 기본으로 사용했으며 일부 실험에서는 Dr. GRPO와 GiGPO도 적용되어 결과의 강건성을 확보했다.

층 기여도 수식은 𝒞(k) = (S_k − S_base) / (S_full − S_base)로 정의되며 여기서 S_base는 RL 이전의 베이스 모델 점수, S_full은 풀-파라미터 RL로 얻은 점수, S_k는 층 k만 업데이트했을 때의 점수이다. 계산 흐름은 베이스와 풀-파라미터 기준을 먼저 계산한 뒤 각 단일층 실험의 개선분을 기준선 개선분으로 나누어 정규화하는 방식이다. 예를 들어 S_base=44.1, S_full=50.8, S_k=51.8이면 𝒞(k)=(51.8−44.1)/(50.8−44.1)=7.7/6.7≈1.15로 해당 층이 전체 이득을 초과했음을 의미한다.

성능 평가는 NuminaMath-CoT를 비롯한 수학 벤치마크 12개와 코드·추론·언어 카테고리의 평균을 포함하는 복합 스코어로 수행되었고 모든 전략은 동일한 평가 집합으로 비교되었다. 하이퍼파라미터 공정성을 위해 풀-파라미터 기준선의 학습률을 먼저 탐색해 고정한 뒤 동일한 학습률과 다른 하이퍼파라미터들을 단일층 실험에 적용했다. 실험 반복은 각 설정에 대해 3회 이상 수행하여 평균과 표준편차를 보고했고 추가 민감도 실험으로 학습률 변경이 층 순위에 미치는 영향을 별도로 검증했다.

본 연구에서 제시한 layer-aware 전략의 광범위한 검증은 수학 도메인에서 가장 상세하게 이루어졌고 코드 및 에이전트 과제에 대한 적용성 확대는 추가 연구가 필요하다. 층 기여도가 왜 중간층에 집중되는지에 대한 이론적 해석은 본문에서 정성적·경험적 근거는 제공했지만 엄밀한 이론적 근거는 제시되지 않았다. 또한 층별 프로파일링은 계산 비용이 크므로 실무 적용 시에는 휴리스틱이나 비용-효과 분석이 병행되어야 한다.