13개의 파라미터만으로 LoRA 학습이 가능함을 증명한 Tinylora 및 검증 실험

실용적 조언

모델의 행동만 수정하고 싶다면 수백만 개의 파라미터 대신 수십 개의 파라미터만 사용하는 Tinylora 접근법을 고려할 것
파라미터 할당 시 전체 공유 방식보다는 MLP와 Attention 블록을 구분하여 할당하는 것이 효율적이다.

섹션별 상세

Tinylora 논문은 단 13개의 파라미터만으로도 모델의 행동을 유의미하게 변경할 수 있음을 주장한다. 작성자는 Qwen 3.5 모델에 이를 구현하여 실험한 결과, 논문과 동일하게 극소수 파라미터로도 동작이 수정됨을 확인했다. 이는 전체 가중치를 건드리지 않고도 모델의 말투나 응답 스타일을 조정할 수 있는 가능성을 시사한다.

실험 과정에서 LoRA의 Rank를 높이는 것이 항상 성능 향상으로 이어지지는 않는다는 점이 발견됐다. 파라미터 수를 늘리기 위해 Rank를 높이면 오히려 최적화 공간이 너무 넓어져 모델이 올바르게 수렴하지 못하는 현상이 발생했다. 이는 극도로 제한된 자원 환경에서는 단순한 파라미터 확장보다 구조적 배치가 더 중요함을 보여준다.

작성자는 글로벌 파라미터 공유 방식보다 레이어 유형별(MLP, Attention)로 파라미터를 나누어 할당하는 방식이 더 효과적임을 입증했다. 모든 MLP 레이어가 13개를 공유하고, 모든 Attention 레이어가 별도의 13개를 공유하여 총 26개를 사용하는 구조가 단일 13개 공유 방식보다 우수한 성능을 보였다. 이는 특정 기능 블록에 특화된 미세 조정이 전체적인 모델 행동 제어에 유리함을 의미한다.

이 기법은 사실적 지식을 암기하는 데는 적합하지 않지만, 행동 양식을 변경하는 데는 탁월한 성능을 보였다. lm-eval을 통한 다운스트림 작업 테스트 결과, 적은 파라미터로도 모델의 작업 수행 방식이 효과적으로 조정되었다. 향후 DeepSeek의 Engram 개념처럼 다양한 행동 양식을 담은 초소형 LoRA 어댑터 룩업 테이블을 구축하는 방향으로 발전할 수 있다.

용어 해설

저순위 적응(LoRA): — 거대 언어 모델의 전체 가중치를 직접 수정하는 대신, 저순위 행렬을 추가하여 일부 파라미터만 학습시키는 효율적인 파인튜닝 기법이다. 메모리 사용량을 획기적으로 줄이면서도 모델의 성능을 유지하거나 특정 작업에 최적화할 수 있어 널리 사용된다.
순위(Rank): — LoRA에서 저순위 행렬의 크기를 결정하는 하이퍼파라미터이다. 순위가 높을수록 학습 가능한 파라미터가 많아져 복잡한 표현이 가능하지만, 너무 높으면 최적화 공간이 넓어져 수렴이 어려워지거나 과적합이 발생할 수 있다.
다층 퍼셉트론(MLP): — 입력층, 은닉층, 출력층으로 구성된 신경망 구조로, 트랜스포머 아키텍처에서 각 어텐션 블록 뒤에 위치하여 비선형 변환을 수행한다. 모델의 지식 저장 및 복잡한 패턴 인식에 중요한 역할을 한다.
인그램(Engram): — 최근 DeepSeek 논문 등에서 언급된 개념으로, 모델이 학습한 지식이나 행동의 흔적을 저장하는 단위를 의미한다. 본문에서는 행동 양식을 저장하고 필요할 때 불러오는 룩업 테이블 형태의 구조로 비유되었다.

언급된 도구

Qwen 3.5중립

실험에 사용된 베이스 언어 모델

lm-eval추천

모델의 다운스트림 작업 성능 평가 도구

언급된 리소스

논문Tinylora: Tiny Low-Rank Adaptation

GitHubDeepSeek Engram GitHub