LoRA 가중치 기저를 이용한 시각적 유추 공간 확장 (LoRWeB)

텍스트로 설명하기 어려운 복잡한 이미지 변형을 예시 이미지 한 쌍만으로 다른 이미지에 적용할 수 있게 한다. 기존의 단일 LoRA 방식이 가진 일반화 한계를 극복하여, 학습하지 않은 새로운 변형 작업도 유연하게 처리할 수 있는 기술적 토대를 마련했다.

기존의 LoRA는 모델의 전체 가중치를 직접 수정하는 대신 저순위 행렬을 추가하여 특정 작업에 최적화한다. 하지만 시각적 유추 작업은 스타일 변환부터 객체 삽입까지 그 범위가 너무 넓어, 단 하나의 LoRA 모듈에 이 모든 변환 능력을 압축해 넣기에는 용량과 일반화 측면에서 한계가 존재한다.

LoRWeB은 이 문제를 해결하기 위해 'LoRA들의 공간'이라는 개념을 도입한다. 여러 개의 LoRA를 미리 학습된 '기저(Basis)'로 준비해두고, 입력된 이미지 예시를 보고 이 기저들을 어떻게 섞을지 결정한다. 이는 마치 화가가 여러 색의 물감을 팔레트에 짜두고, 대상에 맞춰 즉석에서 색을 배합하여 사용하는 것과 유사한 원리다.

구체적으로는 CLIP 인코더가 예시 이미지들의 특징을 추출하면, 이를 바탕으로 각 기저 LoRA에 부여할 가중치를 계산한다. 이렇게 생성된 '혼합 LoRA'는 현재 주어진 유추 작업에만 특화된 맞춤형 어댑터가 되어, Flux.1-Kontext와 같은 확산 모델이 정밀한 편집을 수행하도록 유도한다. 결과적으로 고정된 하나의 모델보다 훨씬 다양한 변환을 정확하게 수행할 수 있다.

전체 구조는 N개의 rank-r LoRA 어댑터 세트와 각 어댑터에 대응하는 학습 가능한 키 벡터로 구성된다. 입력 이미지 삼중주는 동결된 CLIP 인코더를 거쳐 특징 벡터로 변환된 후, 학습 가능한 투영 모듈을 통해 쿼리 벡터로 변환된다.

쿼리 벡터와 키 벡터 사이의 유사도를 계산하여 혼합 계수를 도출한다. 구체적으로 Softmax 연산을 수행한다. [쿼리 벡터와 키 행렬의 내적 값을 입력으로] → [지수 함수를 통해 큰 값을 증폭하고 전체 합으로 나누는 연산을 수행해] → [0과 1 사이의 확률 분포 값을 얻고] → [이 값은 각 기저 LoRA가 현재 편집 작업에 기여할 가중치를 의미한다.]

결정된 계수를 사용하여 최종 LoRA 가중치를 선형 결합한다. [기저 LoRA 행렬들과 가중치 계수들을 입력으로] → [각 행렬에 가중치를 곱해 모두 더하는 가중 합산 연산을 수행해] → [하나의 통합된 LoRA 행렬을 얻고] → [이 행렬은 현재 주어진 특정 유추 작업에 최적화된 맞춤형 어댑터 역할을 한다.] 이 혼합 LoRA는 Flux.1-Kontext 모델의 가중치 행렬에 주입되어 최종 이미지를 생성하는 데 사용된다.

Relation252k 데이터셋 및 자체 구축한 검증 세트에서 실험한 결과, LoRWeB은 기존의 단일 LoRA(rank=128) 방식보다 높은 편집 정확도와 이미지 보존력을 동시에 달성했다. 특히 Gemma-3를 이용한 VLM 평가에서 편집 정확도와 보존력 모두에서 Pareto front를 확장하는 성과를 보였다.

사용자 평가에서도 LoRWeB은 Edit Transfer, RelationAdapter 등 기존 시각적 유추 모델들을 압도했다. Edit Transfer 대비 약 83.6%, 단일 LoRA 대비 약 57.6%의 승률을 기록하며 인간의 선호도와 일치하는 고품질 편집 결과를 생성함을 확인했다.

Ablation Study를 통해 기저의 개수 N과 rank r의 영향을 분석했다. N=32, r=4 설정이 가장 우수한 일반화 성능을 보였으며, 단순히 파라미터 수를 늘리는 것보다 다양한 기저를 확보하는 것이 미학습 변환 작업 처리에 더 중요함을 입증했다.

LoRWeB은 Flux.1-Kontext라는 Flow-matching 기반 확산 모델을 백본으로 사용한다. 이 모델은 2x2 격자 형태의 컨텍스트 이미지를 입력받아 비어 있는 영역을 채우는 방식으로 동작하며, LoRWeB은 여기에 동적으로 생성된 LoRA를 결합하여 제어력을 높인다.

핵심은 LoRA 가중치 공간의 선형성을 활용한 것이다. 독립적으로 학습된 LoRA들이 의미론적 기저를 형성할 수 있다는 선행 연구에 착안하여, 이를 학습 과정에서 직접 최적화하는 'Learnable Basis' 구조를 설계했다. 각 레이어와 가중치 행렬마다 별도의 기저와 키 벡터를 유지하여 레이어별 특화된 변환을 가능케 했다.

인코더 입력 구성 시 예시 이미지들을 각각 CLIP으로 인코딩한 후 연결하는 방식을 채택했다. 이는 2x2 격자 전체를 한 번에 인코딩하는 것보다 각 이미지의 세부 정보를 더 잘 보존하며, 모델이 유추 관계와 대상을 더 명확히 구분하여 추론하도록 돕는다.

학습 시에는 8-bit AdamW 옵티마이저와 bfloat16 혼합 정밀도 훈련을 사용하여 효율성을 높였다. N=32개의 어댑터를 사용함에도 불구하고 실제 연산 시에는 가중치 결합을 통해 단일 LoRA와 동일한 추론 속도를 유지하는 효율적인 구조를 갖췄다.

학습 데이터셋의 범위를 크게 벗어나는 극단적으로 생소한 변환 작업에 대해서는 여전히 어려움을 겪을 수 있다. 또한 Softmax를 사용한 가중치 결합 방식은 계수를 0과 1 사이로 제한하므로, 음의 상관관계를 가진 변환을 표현하는 데 한계가 있을 수 있다.