Adapter rank
어댑터 랭크
어댑터 랭크는 LoRA가 학습하는 저순위 행렬의 차원 수로, 어댑터의 표현 용량을 결정한다. 동일한 업데이트 스케일을 유지하면서 랭크를 올리면 어댑터가 더 복잡한 변환을 학습할 여지가 커진다. 레지스터 할당 과제에서는 랭크를 32에서 128로 늘리자 유효성과 품질이 함께 올라갔다.
어댑터 랭크
어댑터 랭크는 LoRA가 학습하는 저순위 행렬의 차원 수로, 어댑터의 표현 용량을 결정한다. 동일한 업데이트 스케일을 유지하면서 랭크를 올리면 어댑터가 더 복잡한 변환을 학습할 여지가 커진다. 레지스터 할당 과제에서는 랭크를 32에서 128로 늘리자 유효성과 품질이 함께 올라갔다.