본문으로 건너뛰기

Adapter rank

어댑터 랭크

어댑터 랭크는 LoRA가 학습하는 저순위 행렬의 차원 수로, 어댑터의 표현 용량을 결정한다. 동일한 업데이트 스케일을 유지하면서 랭크를 올리면 어댑터가 더 복잡한 변환을 학습할 여지가 커진다. 레지스터 할당 과제에서는 랭크를 32에서 128로 늘리자 유효성과 품질이 함께 올라갔다.