NoRA로 LoRA의 입력 투영 규모를 정규화하다

왜 중요한가

LoRA는 학습 가능한 파라미터를 크게 줄이지만, 초기 down-projection A의 열 크기가 입력 좌표별 업데이트 규모를 불균형하게 만든다. NoRA는 각 열의 rank 방향 크기를 1로 맞춰 이 암묵적 preconditioner의 대각 이득을 보정하며, 추가 학습 파라미터나 추론 연산 없이 pretraining·SFT·RLVR에서 개선을 거뒀다.

핵심 기여

LoRA 최적화에서 down-projection A의 규모를 핵심 설계 요소로 규정

LoRA는 B를 0으로 초기화하므로 초기 단계에서 A가 만드는 잠재 표현이 B의 gradient를 결정한다. A의 열 크기가 입력 좌표별 학습률과 gradient 흐름을 좌우한다는 관점으로 저랭크 최적화의 병목을 정리했다.

rank 차원 정규화를 적용한 NoRA 제안

A의 각 열을 rank 차원에서 정규화해 모든 입력 좌표의 잠재 투영 벡터 크기를 1로 맞춘다. 입력에 의존하지 않는 선형 변환을 유지하므로 학습 뒤 LoRA 가중치에 정확히 병합할 수 있다.

초기화만 수행하는 NoRA-init과 BIMI 도입

NoRA-init은 학습 시작 시 A만 정규화한 뒤 표준 LoRA 방식으로 A와 B를 최적화한다. BIMI는 반복된 단위행렬 블록으로 A를 초기화해 같은 열 단위 규격을 구조적으로 만족시킨다.

세 학습 단계와 지식 보존 실험에서 일관된 개선 확인

Pretraining, supervised finetuning, RLVR에서 수렴 속도·gradient 규모·다운스트림 점수를 비교했다. SFT 평균 점수는 LoRA의 37.93에서 NoRA의 43.37로 올랐고, retained benchmark 평균 변화는 LoRA의 -0.56에서 NoRA의 +0.02로 개선됐다.

핵심 아이디어 이해하기

LoRA는 원래 가중치 W에 변화량을 직접 더하는 대신 ΔW = αBA로 표현한다. A는 입력 x를 rank가 r인 잠재 벡터로 줄이고 B는 이를 출력 차원으로 되돌린다. 표준 초기화에서 B=0이므로 첫 순간에는 A가 만든 방향으로만 B의 gradient가 흐르며, A는 아직 gradient를 받지 않는다. 따라서 같은 rank라도 A의 초기 규모와 구조에 따라 최적화 속도가 달라진다.

LoRA의 초기 가중치 변화는 full finetuning gradient G에 AᵀA를 곱한 형태가 된다. A의 j번째 열을 aⱼ라고 하면 입력 좌표 j에 대한 자기 업데이트는 ||aⱼ||²에 비례하고, 서로 다른 좌표 사이에는 aᵢᵀaⱼ에 따른 crosstalk가 생긴다. 무작위 A의 원소 분산이 σ²이고 σ²가 1/k에 비례하면 열의 평균 제곱 크기는 rσ², 즉 r/k 수준으로 작아져 full finetuning보다 업데이트가 약해지며 좌표별 크기도 흔들린다.

NoRA는 입력 x 자체를 정규화하지 않고 A의 각 열을 rank 방향에서 정규화한다. 정규화된 열은 ||aⱼ||₂=1을 만족하므로 각 입력 좌표의 자기 업데이트 크기가 일정해지고, B·Norm(A)·x라는 선형 구조도 유지된다. 입력에 따라 정규화하는 MLA 방식과 달리 변환이 x에 대해 선형이어서 학습 후 정규화된 A를 가중치 변화량에 흡수할 수 있다.

NoRA-init은 이 보정을 초기화 시점에 한 번만 적용한다. 초기 B=0일 때 A가 최적화의 입력 측 preconditioner를 사실상 고정하기 때문에, 초기에 열 크기를 맞추는 것만으로도 NoRA 이득의 상당 부분을 얻는다. NoRA는 여기에 학습 중 정규화를 계속 적용해 열의 규모가 무너지거나 과도하게 커지는 현상을 억제한다.

방법론

LoRA는 사전학습 가중치 W₀와 입력 x에 대해 y = W₀x + αBAx를 계산한다. 여기서 A ∈ ℝ^(r×k)는 k차원 입력을 r차원 잠재 공간으로 보내는 down-projection, B ∈ ℝ^(d×r)는 이를 d차원 출력으로 보내는 up-projection이며 r은 min(d,k)보다 훨씬 작다. 표준 LoRA는 A를 무작위로 초기화하고 B=0으로 두어 초기 출력이 사전학습 모델과 같게 만든다.

NoRA는 A=[a₁,…,aₖ]의 각 열 aⱼ∈ℝʳ에 대해 Norm(A)=[a₁/max(||a₁||₂,ε),…,aₖ/max(||aₖ||₂,ε)]를 계산한다. ε은 0에 가까운 열을 다룰 때의 수치 안정성 상수다. 입력 좌표 j의 rank 방향 벡터를 받아 제곱합과 제곱근으로 L2 크기를 구한 뒤, 그 값과 ε 중 큰 값으로 나누어 출력 열의 L2 크기를 1에 가깝게 만든다. 예를 들어 ||aⱼ||₂=2이고 ε이 그보다 작으면 정규화 뒤 크기는 1이 되며, y의 해당 좌표 투영 규모가 A의 원래 임의 스케일에 좌우되지 않는다.

NoRA의 순전파는 Δy=αB Norm(A)x다. Norm(A)가 입력 x가 아니라 학습 파라미터 A에만 의존하므로 x에 대한 변환은 선형으로 남는다. 반면 B Norm(Ax)는 입력마다 정규화 결과가 달라져 선형 가중치로 정확히 병합할 수 없다. NoRA는 학습 중 매 순전파에서 열을 정규화하고, 학습이 끝난 뒤 정규화된 A를 B와 곱해 기존 W₀에 병합한다.

NoRA-init은 A⁽⁰⁾=Norm(Ainit), B⁽⁰⁾=0으로 시작한 뒤 정규화 없는 표준 LoRA 순전파를 사용한다. 두 초기화 변형 중 random normalization은 무작위 A를 만든 뒤 정규화하고, BIMI는 반복된 Iᵣ 블록과 남은 차원을 위한 E_q로 A를 구성한다. BIMI는 각 열이 단위 벡터이므로 초기화 단계에서 rank 차원 규격을 자동으로 만족한다.

실험은 pretraining, SFT, RLVR 세 단계로 구성했다. Pretraining에서는 MLA와 MHA에서 SlimPajama 10B training tokens를 사용하고 LAMBADA, WikiText, ARC, HellaSwag, PIQA, WinoGrande, OpenBookQA를 평가했다. SFT에서는 Llama-3.2-3B를 MetaMath와 CodeFeedback으로 학습하고 GSM8K, Math, HumanEval, MBPP 및 MMLU·AGIEval·ARC-C의 retained benchmark를 측정했다. RLVR에서는 DeepSeek-R1-Distill-Qwen1.5B와 수학 데이터로 학습한 뒤 AIME24, AIME25, AMC, HMMT, MATH500, Minerva를 평가했다.

주요 결과

초기화 방식 비교에서 rank 차원 정규화인 Norm r은 세 무작위 초기화에서 일관된 개선을 냈다. 예를 들어 Uniform(-1/√k,1/√k) 초기화에서 GSM8K·Math 평균은 정규화 없음 29.27, Norm k 29.75, Norm r 37.16이었다. Norm k는 각 행을 맞추지만 입력 좌표별 열 크기를 고정하지 못해 효과가 작았고, BIMI는 평균 37.07로 Norm r과 비슷했다.

340M 모델 pretraining에서 MHA의 표준 저랭크 방식은 LAMBADA 정확도 0.00과 전체 평균 27.81을 기록하며 성능 붕괴가 나타났다. 같은 rank r=64에서 NoRA-init은 LAMBADA 63.45, 전체 평균 39.69를 기록했고 gradient 규모와 loss 궤적도 안정적으로 유지됐다. MLA 설정에서는 직접 B Norm(Ax)를 쓰는 방식의 전체 평균이 41.17, 표준 B A x가 40.36, NoRA-init이 40.64였다. NoRA-init은 직접 latent 정규화보다 수치가 낮지만 선형 병합 구조를 보존했다.

SFT에서 NoRA는 표준 LoRA의 평균 37.93을 43.37로 높여 5.44포인트 개선했다. GSM8K는 50.94에서 61.63, HumanEval은 37.20에서 42.10으로 올랐고, NoRA-init도 평균 42.38을 기록했다. NoRA의 retained benchmark 평균 변화는 +0.02였으며, LoRA는 -0.56, MiSS는 -0.70이었다. DoRA에도 Norm r을 적용하자 평균이 38.30에서 NoRA-init 41.40으로 상승했다.

RLVR 전체 평균은 Base 41.0, LoRA 42.8, NoRA 44.4였다. NoRA는 LoRA보다 1.6포인트 높았고 AMC 72.7, MATH500 84.5, Minerva 32.0을 기록했다. 반면 pretrained-weight SVD 기반 MiLoRA와 PiSSA는 각각 18.0과 0.2로 크게 낮아졌다. NoRA는 SVD나 추가 추론 연산 없이 같은 저랭크 구조에서 여러 최적화 조건에 안정적으로 작동했다.

기술 상세

LoRA의 초기 B 업데이트를 gradient descent 한 단계로 쓰면 ΔB = -ηαGAᵀ가 된다. η는 학습률, α는 LoRA scaling, G=∂L/∂W는 full finetuning에서의 가중치 gradient다. 초기에는 A가 gradient를 받지 않으므로 merged weight 변화는 ΔW = αΔBA = -ηGP, P = α²AᵀA로 정리된다. Full finetuning은 P=I인 경우이므로 LoRA는 입력 좌표에 작용하는 rank-r positive semidefinite preconditioner를 둔 gradient descent로 해석된다.

A의 j번째 열을 aⱼ라고 하면 ΔW의 j번째 열은 자기 업데이트와 crosstalk의 합으로 계산된다. 자기 항의 계수는 α²||aⱼ||₂²이고, 다른 입력 좌표 i의 gradient가 섞이는 crosstalk 계수는 α²(aᵢᵀaⱼ)다. 따라서 ||aⱼ||₂²가 작으면 해당 좌표의 업데이트가 느려지고, 열마다 값이 다르면 좌표별 학습률이 불균형해진다. 원소 분산이 σ²이고 σ²∝1/k인 무작위 A에서는 E||aⱼ||₂²=rσ²∝r/k가 되므로 r이 k보다 작을 때 평균 업데이트가 full finetuning보다 작다.

NoRA는 ||aⱼ||₂=1을 강제하고 α=1을 사용하면 Diag(P)=I가 되도록 한다. α/r scaling convention에서는 같은 효과가 α=r에 해당한다. 예를 들어 정규화 전 두 열의 크기가 각각 0.5와 2라면 자기 업데이트 계수는 α² 기준으로 0.25와 4가 되어 16배 차이가 난다. 두 열을 단위 크기로 맞추면 두 계수가 모두 1이 되어 입력 좌표별 규모 차이가 사라진다. 비대각 원소인 aᵢᵀaⱼ에 따른 crosstalk는 남지만, 대각 학습률의 무작위 왜곡은 제거된다.

NoRA와 NoRA-init의 차이는 이 규격을 유지하는 시점에 있다. NoRA는 모든 학습 단계에서 Norm(A)를 순전파에 사용해 Diag(P)=I를 계속 유지하고, 열 크기가 붕괴하거나 폭발하는 것을 막는다. NoRA-init은 A⁽⁰⁾만 정규화한 뒤 A와 B를 제약 없이 학습한다. B=0에서 A의 gradient가 αBᵀG=0으로 시작하므로, 초기 A가 결정하는 학습률과 입력 부분공간을 한 번 보정하는 것만으로도 초기 최적화 이득의 대부분을 확보한다.

MiSS는 k=br인 입력을 b개의 r차원 블록으로 나누고 Afix=[Iᵣ,…,Iᵣ]를 고정한 LoRA 형태로 다시 쓸 수 있다. 각 열이 단위 벡터이므로 MiSS는 NoRA의 구조적 특수 사례다. BIMI는 같은 반복 단위행렬을 초기화에만 사용한 뒤 A를 학습 가능하게 둔다. 실험에서 MiSS와 BIMI가 Norm r 기반 초기화와 비슷한 성능을 낸 결과는 AᵀA의 대각 규모와 초기 입력 측 preconditioner가 저랭크 최적화에 중요한 요인임을 뒷받침한다.

실무 활용

NoRA는 기존 LoRA 구현에서 down-projection A의 열을 rank 차원으로 정규화하는 방식으로 적용할 수 있다. NoRA-init은 초기화 시 한 번만 정규화하므로 표준 LoRA 학습 절차와 병합·배포 방식을 크게 바꾸지 않으며, SFT·pretraining·RLVR의 저랭크 적응에 활용할 근거가 있다.

Llama-3.2-3B 같은 LLM의 수학 추론·코드 생성 SFT에서 LoRA의 평균 점수와 초기 gradient 흐름 개선
MHA 또는 MLA 기반 모델의 pretraining에서 저랭크 학습 붕괴와 낮은 gradient 규모 완화
검증 가능한 보상을 사용하는 수학 RLVR에서 SVD 초기화 없이 adapter 최적화
SFT 이후 MMLU·AGIEval·ARC-C 점수 변화를 줄여 사전학습 지식 보존

코드 공개 여부: 공개

코드 저장소 보기

키워드

LoRA(저랭크 적응)NoRA(정규화된 저랭크 적응)NoRA-init(초기화 전용 정규화)Down-Projection(다운 프로젝션)Catastrophic Forgetting(치명적 망각)RLVR(검증 가능한 보상 기반 강화학습)

용어 해설

저랭크 적응(Low-Rank Adaptation): — 대형 모델의 원래 가중치는 고정하고, 작은 두 행렬의 곱으로 가중치 변화를 근사해 일부 파라미터만 학습하는 방식이다. 학습 메모리와 파라미터 수를 줄이면서 사전학습 모델을 과제에 맞게 조정하는 데 쓰인다.
다운 프로젝션(Down-Projection): — 입력 벡터를 LoRA의 낮은 차원 잠재 공간으로 보내는 행렬 A를 뜻한다. 입력 차원 k를 rank r로 줄이며, 초기에는 이 행렬이 업 프로젝션에 전달되는 특징과 각 입력 좌표의 유효 학습률을 결정한다.
치명적 망각(Catastrophic Forgetting): — 새 과제를 학습하는 과정에서 사전학습 모델이 이미 습득한 지식이나 능력을 잃는 현상이다. 이 논문에서는 SFT 이후 MMLU, AGIEval, ARC-C 점수의 변화로 기존 지식 보존 정도를 측정한다.
조건화(Preconditioning): — 최적화 단계에서 원래 gradient에 행렬을 곱해 좌표별 업데이트 크기와 방향을 조정하는 방식이다. LoRA에서는 down-projection A가 입력 측 저랭크 preconditioner를 만들며, A의 열 크기가 좌표별 학습률을 불균형하게 만든다.
검증 가능한 보상 기반 강화학습(Reinforcement Learning with Verifiable Rewards): — 모델의 출력이 정답처럼 외부 기준으로 판정 가능한 과제에서 보상을 계산하고, 그 보상을 높이는 방향으로 모델을 최적화하는 방식이다. 논문은 수학 추론 벤치마크에서 LoRA와 NoRA를 비교한다.

NoRA로 LoRA의 입력 투영 규모를 정규화하다

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드