한 층만 훈련해도 충분한가: 단일 Transformer 층 학습으로 전체 파라미터 RL 훈련과 동등하거나 더 나은 성능 달성

왜 중요한가

대형 언어모델의 RL 후학습이 모델 전체에 균일하게 분포한다고 가정하면 계산·메모리 비용이 크게 발생한다는 문제가 있다. 본 연구는 RL-induced 개선이 소수의 층에 집중되어 있음을 발견하여 업데이트 대상 파라미터를 줄일 수 있는 근거를 제공했다. 이 발견은 RL 비용과 복잡도를 낮추면서도 동등하거나 더 나은 성능을 얻을 수 있는 실용적 경로를 열었다.

핵심 기여

RL 이득의 층 집중성 발견

서로 다른 모델군(Qwen3, Qwen2.5), 세 가지 RL 알고리즘(GRPO, GiGPO, Dr. GRPO), 그리고 수학·코드·에이전트 과제를 포함한 실험에서 RL 향상이 네트워크 깊이의 중앙에 집중되어 있다는 사실이 관찰되었다. 단일 층만 RL로 학습해도 전체 파라미터 RL이 제공한 성능 이득의 상당 부분을 복구하거나 때로는 초과하는 경우가 보고되었다. 이러한 패턴은 모델 규모와 데이터셋, 과제에 걸쳐 일관되게 재현되었다.

층 기여도(layer contribution) 정량화 지표 도입

각 층 k에 대해 단일 층 학습으로 얻은 성능 향도를 전체 풀-파라미터 RL의 향도로 정규화한 지표 𝒞(k)을 정의하여 층별 기여를 비교 가능하게 만들었다. 이 지표는 값 1.0을 기준으로 단일 층이 전체 학습의 이득을 온전히 복구함을 나타내며 1.0 초과는 단일 층이 전체를 능가했음을 뜻한다. 이 정의는 동일한 평가 스코어(S_base, S_k, S_full)를 사용하여 모든 실험에서 일관되게 계산되었다.

층별 프로파일을 활용한 학습 전략 제시

높은 기여도를 보이는 층들에 대해 학습률을 증폭하거나 낮은 기여층을 동결하는 방식의 layer-aware training이 표준 풀-파라미터 RL보다 일관되게 좋은 성능을 보였다. 프로파일링 비용을 회피할 때는 모델 깊이의 중간층을 선택하는 단순 휴리스틱이 상당 부분의 이득을 재현함이 확인되었다. 이들 전략은 특히 큰 모델에서 풀 파라미터 업데이트를 대체하거나 보완하는 실무적 이점을 제공했다.

층 특화 모델들의 보완성 및 앙상블 효과 규명

서로 다른 상위 기여층으로 학습한 모델들이 문제 해결의 부분집합에서 서로 다른 강점을 보이며 평균 쌍별 Jaccard 유사도가 낮게 관측되었다. 이러한 구조적 다양성을 이용해 상위 7개 층 기반 다수결 앙상블을 구성한 결과 단일층 최고 모델과 풀-파라미터 기준보다 더 높은 정확도를 달성했다. 이는 단일층 학습이 단순한 중복 효과가 아니라 서로 보완적인 솔루션을 생성함을 시사했다.

핵심 아이디어 이해하기

Transformer는 층별로 서로 다른 표현과 계산을 학습하여 입력 토큰을 점진적으로 변환하며, 기존의 RL 후학습은 모든 층을 동등하게 업데이트한다는 가정을 따른다. 이 방식은 전체 파라미터 공간을 동시에 조정하므로 계산·메모리 비용이 크고 층별 역할 차이를 반영하지 못할 수 있다. 본 연구는 이러한 균일한 업데이트 가정이 실제로는 불필요한 경우가 많음을 보여주었다.

각 층을 독립적으로 RL로 업데이트하는 단일층 학습 실험은 그 층의 파라미터 하위공간이 RL 신호를 흡수할 수 있는지 직접적으로 평가하는 방법이다. 구체적으로 각 층 k만 gradient를 적용하고 나머지 층은 동결한 뒤 평가 점수의 개선분을 풀-파라미터 RL의 개선분으로 나누어 층 기여도 𝒞(k)을 계산했다. 이 방식은 동일한 학습 설정과 동일한 평가 집합을 사용해 층별 비교를 공정하게 만들었다.

실험 결과 대부분의 모델에서 중간층들이 상대적으로 높은 𝒞(k)을 보였고, 몇몇 중간층은 단일층 학습만으로 전체 RL을 능가했다. 반면 입력쪽과 출력쪽 층들은 낮은 기여도를 보였으며 어떤 경우에는 단독 학습이 성능을 저하시켰다. 이러한 패턴은 데이터셋·과제·알고리즘을 바꿔도 일관되게 관찰되어 층 기여도가 모델 내부 구조의 고유한 성질임이 확인되었다.

방법론

연구의 핵심 실험은 '층을 하나만 업데이트'하는 통제된 프로토콜에 기반한다. 사전학습된 Transformer 모델에서 임베딩과 헤드 등은 동결하고, 각 층 k마다 독립적으로 GRPO 등 RL 알고리즘으로만 해당 층 파라미터를 갱신한 뒤 동일한 평가 벤치마크로 성능을 측정했다. 이렇게 얻은 S_k 값을 기준으로 기본 모델 S_base와 풀-파라미터 학습 S_full의 차이에 대한 비율로 𝒞(k)을 계산해 층별 기여도를 정량화했다.

공정한 비교를 위해 풀-파라미터 기준선의 학습률을 하이퍼파라미터로 최적화한 뒤 동일한 학습률과 동일한 학습 스텝을 단일층 실험에 적용하여 풀-파라미터가 불리하지 않도록 설계했다. 추가로 학습률 민감도 분석을 수행해 학습률 변경이 층 순위에 큰 영향을 주지 않음을 확인했다. 실험군은 Qwen3 계열(1.7B, 4B, 8B)을 주축으로 Qwen2.5 계열과 distilled 모델을 포함해 총 일곱 모델·여러 데이터셋과 세 가지 RL 알고리즘을 포괄하도록 구성되었다.

층 기여도 기반 실용 전략으로는 상위 k개 층의 학습률을 증폭시키거나 상위 k개 층만 학습하는 선택적 훈련, 그리고 프로파일링을 생략한 채 중앙 위치의 k개 층만 학습하는 위치 기반 휴리스틱을 평가했다. 각 전략은 동일한 평가 집합에서 평균과 표준편차를 3회 반복 실행하여 통계적 안정성을 확보했다. 또한 서로 다른 층으로 학습된 모델들 간의 해답 중첩을 Jaccard 지수로 측정하고 다수결 앙상블의 성능도 비교했다.

주요 결과

주요 결과로 Qwen3-1.7B, 4B, 8B에서 중간층들이 높은 기여도를 보였고 일부 중간층은 𝒞(k)≥1.0로 단일층 학습만으로 풀-파라미터 RL의 이득을 재현하거나 초과했다. 예를 들어 Qwen3-1.7B에서는 최고층이 𝒞=1.14를 기록했고 Qwen3-8B에서는 특정 중간층이 𝒞=1.07을 기록했으며 일부 층은 0.2~0.3 수준으로 매우 낮은 기여를 보였다. 풀-파라미터 학습과 비교한 전체 성능 지표에서도 단일층 상위 선택이 동일하거나 더 나은 결과를 낸 경우가 반복적으로 관찰되었다.

층 기여도 순위는 데이터셋과 과제를 바꿔도 강하게 일관되었고, 동일 모델 내에서 NuminaMath-CoT와 DeepScaleR 간의 Spearman 상관계수는 ρ=0.76으로 높게 관찰되었으며 수학과 코드 간 교차과제에서도 ρ=0.59를 기록했다. 이 결과는 층 기여도가 특정 데이터셋 고유의 현상이 아니라 사전학습된 가중치 구조에서 기인함을 시사한다. 또한 풀-파라미터 학습 시 각 층의 파라미터 변화량은 비교적 균일했으나 단일층 학습 시 해당 층의 변화량은 더 커지는 경향을 보였고, 변화량 자체는 기여도를 설명하지 못했다.

층 기반 학습 전략의 실용적 이득도 확인되었다. 상위 10개 층(B10)에 학습률을 증폭한 Boost B10 전략은 Qwen3-1.7B에서 기준선 대비 2.88 포인트 향상(전체 RL 향상의 43% 상대)을 보였고 선택적 학습(Only B10)은 Qwen3-8B에서 69.11%의 수학 평균 정확도를 기록해 풀-파라미터(66.43%)를 상회했다. 서로 다른 상위 층으로 학습된 모델 7개를 다수결로 결합한 결과 OlympiadBench에서 33.6%를 달성해 개별 최고층(28.3%)와 풀-파라미터(26.9%)를 모두 능가했다.

기술 상세

실험에 사용된 모델들은 Transformer 기반이며 Qwen3-1.7B는 28개 층, Qwen3-4B/8B는 36개 층 등 다양한 깊이를 포함했다. 각 단일층 실험에서는 해당 층의 파라미터만 requires_grad=True로 설정하고 나머지 파라미터는 동결하여 backpropagation이 전체 네트워크를 통해 계산되지만 업데이트는 한 층으로 제한되도록 구현되었다. RL 알고리즘은 GRPO를 기본으로 사용했으며 일부 실험에서는 Dr. GRPO와 GiGPO도 적용되어 결과의 강건성을 확보했다.

층 기여도 수식은 𝒞(k) = (S_k − S_base) / (S_full − S_base)로 정의되며 여기서 S_base는 RL 이전의 베이스 모델 점수, S_full은 풀-파라미터 RL로 얻은 점수, S_k는 층 k만 업데이트했을 때의 점수이다. 계산 흐름은 베이스와 풀-파라미터 기준을 먼저 계산한 뒤 각 단일층 실험의 개선분을 기준선 개선분으로 나누어 정규화하는 방식이다. 예를 들어 S_base=44.1, S_full=50.8, S_k=51.8이면 𝒞(k)=(51.8−44.1)/(50.8−44.1)=7.7/6.7≈1.15로 해당 층이 전체 이득을 초과했음을 의미한다.

성능 평가는 NuminaMath-CoT를 비롯한 수학 벤치마크 12개와 코드·추론·언어 카테고리의 평균을 포함하는 복합 스코어로 수행되었고 모든 전략은 동일한 평가 집합으로 비교되었다. 하이퍼파라미터 공정성을 위해 풀-파라미터 기준선의 학습률을 먼저 탐색해 고정한 뒤 동일한 학습률과 다른 하이퍼파라미터들을 단일층 실험에 적용했다. 실험 반복은 각 설정에 대해 3회 이상 수행하여 평균과 표준편차를 보고했고 추가 민감도 실험으로 학습률 변경이 층 순위에 미치는 영향을 별도로 검증했다.

한계점

본 연구에서 제시한 layer-aware 전략의 광범위한 검증은 수학 도메인에서 가장 상세하게 이루어졌고 코드 및 에이전트 과제에 대한 적용성 확대는 추가 연구가 필요하다. 층 기여도가 왜 중간층에 집중되는지에 대한 이론적 해석은 본문에서 정성적·경험적 근거는 제공했지만 엄밀한 이론적 근거는 제시되지 않았다. 또한 층별 프로파일링은 계산 비용이 크므로 실무 적용 시에는 휴리스틱이나 비용-효과 분석이 병행되어야 한다.

실무 활용

층 기여도 관찰에 따라 상위 기여층만을 집중적으로 업데이트하거나 학습률을 차등 적용하면 전체 파라미터 업데이트보다 효율적으로 RL 이득을 얻을 수 있는 실무적 근거가 확보되었다. 중간층 휴리스틱은 프로파일링을 수행할 수 없는 상황에서 간단히 적용 가능한 기본 전략으로 의미 있는 성능 개선을 보였다. 이러한 방식은 계산 비용과 메모리 사용을 줄이려는 대형 모델의 RL 후학습 파이프라인에 바로 적용 가능하다.

대형 모델에서 전체 파라미터 RL을 수행하기 어려운 경우 상위 기여층만 선택해 비용·시간을 절감하며 성능을 유지하는 시나리오
모델 배포 전 제한된 자원으로 RL 최적화를 수행할 때 중간층 휴리스틱을 사용해 빠르게 성능 향상을 얻는 시나리오
서로 다른 층을 학습한 소규모 전문가들을 조합해 앙상블로 성능을 추가 확보하는 검증 단계

코드 공개 여부: 미확인

키워드

layer contribution(층 기여도)single-layer training(단일 층 학습)GRPO(GRPO)selective training(선택적 층 학습)Qwen3(Qwen3)

용어 해설

층 기여도(Layer Contribution): — 한 층을 단독으로 RL로 학습했을 때 얻는 성능 향도를 전체(풀 파라미터) RL로 얻는 향도에 대한 비율로 정의한 지표로, 특정 층이 RL에 기여하는 상대적 효과를 정량화한다.
단일 층 학습(Single-Layer Training): — 사전학습된 모델에서 특정 Transformer 층 하나만 파라미터를 업데이트하고 나머지 층은 동결한 채로 RL 최적화를 수행하는 절차로, 층별로 RL 적응 능력을 분리하여 측정할 수 있게 한다.
Group Relative Policy Optimization(GRPO): — 그룹 단위 샘플링으로 advantage를 정규화하여 사용하는 RL 최적화 알고리즘으로, value 네트워크 없이 importance ratio와 KL 페널티를 포함한 클리핑된 목적함수를 통해 정책을 갱신한다.
중간층 휴리스틱(Middle-Layer Heuristic): — 층 기여도 프로파일을 직접 계산하지 않고 모델 깊이의 중앙에 위치한 k개 층만 선택해 RL로 재학습하는 간단한 전략으로, 프로파일링 비용 없이도 실험적으로 의미 있는 향상을 얻는 방법이다.

한 층만 훈련해도 충분한가: 단일 Transformer 층 학습으로 전체 파라미터 RL 훈련과 동등하거나 더 나은 성능 달성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM에서 강화학습의 샘플 효율성 퍼즐

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM에서 강화학습의 샘플 효율성 퍼즐