PureCC: 텍스트-이미지 개념 커스텀을 위한 순수 학습 기법

기존의 이미지 생성 모델 커스텀 방식은 새로운 대상을 배우는 과정에서 모델이 원래 가지고 있던 배경 묘사 능력이나 화질이 망가지는 부작용이 있었다. PureCC는 학습 목표를 분리하여 모델의 본래 성능은 그대로 유지하면서도 사용자가 원하는 특정 캐릭터나 스타일만 정확하게 입힐 수 있게 해준다. 이는 고품질의 개인화된 콘텐츠 제작 시 모델의 범용성을 해치지 않는 중요한 기술적 진보이다.

기존의 DreamBooth나 LoRA 같은 방식은 특정 이미지 몇 장으로 모델 전체를 Fine-tuning한다. 이 과정에서 모델은 새로운 이미지의 대상뿐만 아니라 배경, 조명, 화질 특성까지 한꺼번에 학습하게 되어, 원래 잘 하던 일반적인 프롬프트 처리 능력이 저하되는 '분포 편향(Distribution Shift)' 문제가 발생한다.

PureCC는 이를 해결하기 위해 '암시적 가이드(Implicit Guidance)' 개념을 학습 단계에 도입한다. 마치 Classifier-Free Guidance(CFG)가 추론 시에 정답 방향을 제시하듯, 학습 시에도 '원래 모델의 예측값'과 '새로운 개념이 포함된 예측값'의 차이만을 따로 추출하여 모델이 그 차이점(순수 개념)만 배우도록 유도한다.

결과적으로 모델은 원래 알고 있던 세상에 대한 지식은 건드리지 않고, 사용자가 제공한 새로운 대상의 특징만 '덧셈' 방식으로 습득하게 된다. 이를 통해 배경이 바뀌거나 복잡한 프롬프트가 주어져도 모델의 원래 성능을 유지하며 새로운 대상을 자연스럽게 합성할 수 있다.

PureCC는 SD 3.5-M과 같은 Flow-based 모델을 기반으로 하며, 학습 과정을 두 단계로 나눈다. 첫 번째 단계에서는 타겟 개념을 깊이 이해하기 위해 레이어별 튜닝 가능한 임베딩(Layer-wise Tunable Concept Embeddings)을 사용하여 표현 추출기(Representation Extractor)를 사전 학습한다.

두 번째 단계인 '순수 학습(Pure Learning)'에서는 사전 학습된 추출기를 고정(Frozen)하고, 새로운 학습 가능 모델을 준비한다. 추출기에서 [타겟 텍스트 입력 → 속도장(Velocity Field) 계산 → 결과값]과 [빈 입력(Null) → 속도장 계산 → 결과값]의 차이를 구하여 순수한 개념 바이어스 R(ytar)를 산출한다.

최종 학습 목표 함수는 원래 모델의 예측값에 적응형 가중치 λ가 곱해진 개념 바이어스를 더한 형태로 정의된다. λ는 [학습 중인 모델이 배운 개념 방향과 추출기가 제시한 정답 개념 방향을 입력으로] → [두 벡터의 내적을 정답 벡터의 크기 제곱으로 나누는 연산을 수행해] → [투영 계수(Projection Coefficient)를 얻고] → [이 숫자는 현재 모델이 정답 방향을 얼마나 잘 따라가고 있는지에 따라 가이드 강도를 조절하는 가중치가 된다.]

DreamBenchCC 벤치마크에서 PureCC는 기존 SOTA 모델들(DreamBooth, LoRA, Mix-of-Show 등)보다 모델 보존(Preservation) 지표에서 압도적인 성능을 보였다. 특히 텍스트 정렬도를 측정하는 ΔCLIP-T(base) 지표에서 -0.31을 기록하여, -4.81을 기록한 DreamBooth 대비 모델 훼손을 최소화했다.

개념 재현의 충실도(Fidelity) 측면에서도 CLIP-I 0.81, DINO 0.73을 달성하여 기존 방식들과 대등하거나 더 높은 수준의 개인화 성능을 입증했다. 또한 이미지 품질 지표인 ΔHPSv2.1에서 유일하게 양수(+0.10)를 기록하여 학습 후에도 화질이 오히려 개선되거나 유지됨을 보여주었다.

다중 개념 커스텀(Multi-concept Customization) 실험에서도 각 개념 간의 간섭(Semantic Entanglement) 없이 독립적으로 대상을 생성하는 능력이 확인되었다. 사용자 평가(User Study) 결과, 원래 모델의 동작 일관성 항목에서 90% 이상의 선호도를 기록하며 실질적인 우위를 증명했다.

PureCC는 Flow Matching 프레임워크를 채택하여 확률 경로의 속도장(Velocity Field)을 직접 회귀한다. 기존 확산 모델의 노이즈 예측 방식보다 결정론적인 궤적 학습이 가능하여 커스텀 학습 시 제어력이 높다.

핵심 아키텍처는 이중 분기(Dual-branch) 구조로, 고정된 v_θ1(표현 추출기)과 학습 가능한 v_θ2(메인 모델)로 구성된다. v_θ1은 LoRA와 레이어별 임베딩으로 최적화되어 타겟 개념의 세밀한 텍스처 정보를 보유하며, v_θ2는 기본 텍스트 프롬프트(Base Text)를 입력받아 원래 모델의 분포를 유지하는 역할을 수행한다.

학습 목표 함수 LPureCC는 타겟 개념의 암시적 표현(Implicit Representation)을 가이드로 사용한다. 이는 CFG의 수식을 학습 단계로 끌어들인 것으로, v_target = v_θ1(x|ytar) - v_θ1(x|∅)로 정의되어 개념 외의 정보(배경 등)를 효과적으로 제거한다.

적응형 스케일 λ는 훈련 중 동적으로 계산되는 투영 계수(Projection Coefficient)이다. 학습 초기에는 모델의 예측 방향이 타겟 가이드와 일치하지 않아 λ값이 작게 유지되다가, 학습이 진행됨에 따라 정렬도가 높아지면 λ*값이 커지며 개념 학습을 강화하는 커리큘럼 학습 효과를 낸다.

추가적인 훈련 단계(Stage 1: 표현 추출기 학습)가 필요하여 전체 학습 시간이 기존 단일 단계 방식보다 다소 길어질 수 있다. 또한 훈련 시 두 개의 모델 분기를 로드해야 하므로 GPU 메모리 요구량이 약간 증가한다(약 28GB → 30GB).