저차원 적응
모델의 전체 가중치 대신 일부 저차원 행렬만 학습하는 경량화 기법이다. 적은 자원으로도 모델을 특정 작업에 맞게 미세 조정할 수 있어 효율적인 모델 업데이트와 맞춤화 서비스 구현에 필수적으로 사용된다.
12GB 메모리를 50MB로? Sakana AI의 혁신적 LLM 최적화 기법