InstanceControl: 인스턴스 라벨 없이 다중 인스턴스 제어가 가능한 이미지 생성

다중 인스턴스 장면에서 기존의 조건부 이미지 생성 기법들은 인스턴스 간 속성 혼동으로 인해 정밀한 제어를 달성하지 못했다. 본 논문은 Vision-Language Model을 활용해 텍스트 내 인스턴스 설명과 시각 조건상의 영역을 자동으로 대응시키는 방법론을 제공해 사람의 수작업 라벨링 없이 세밀한 제어를 가능하게 했다. 라벨이 없는 설정에서도 여러 벤치마크에서 우수한 정밀도와 이미지 품질을 확인했다.

기존의 조건부 생성 방법들은 시각 조건(엣지, 깊이 등)과 텍스트 프롬프트를 함께 사용할 때 인스턴스 간 속성 혼동이 자주 발생했다. 이 문제의 근본 원인은 텍스트의 인스턴스 서술을 시각 조건의 특정 공간 영역과 정확히 연결하지 못하는 데 있다. 인간은 텍스트와 이미지를 동시에 볼 때 자연스럽게 인스턴스 수준 대응을 형성하지만 기존 모델은 이를 자동으로 얻지 못했다. 본 논문은 VLM의 교차모달 추론 능력을 활용해 텍스트에서 인스턴스 설명을 파싱하고 SAM 기반 디코더를 통해 시각 조건으로부터 대응 마스크를 예측함으로써 인스턴스 수준 대응을 자동으로 구성했다. 구체적으로 VLM은 텍스트-시각 입력을 받아 고정 형식의 응답을 생성하고 각 구문 끝에 토큰과 인스턴스 ID를 붙이는 방식으로 인스턴스 설명을 구조화했다. 이렇게 얻은 토큰의 히든 표현을 집약해 SAM 디코더의 쿼리로 사용하면 각 인스턴스에 대한 픽셀 수준 마스크가 생성된다. 예측 마스크는 완전하지 않을 수 있으므로 하나의 신뢰 기반 보정 전략이 필요했다. 논문은 예측 마스크의 신뢰도, diffusion 모델의 attention 기반 마스크, 이미지 잠재 표현을 통합하는 Mask Refinement Module을 도입해 정제 마스크를 얻었다. 이 정제 마스크와 해당 인스턴스 텍스트 토큰을 사용해 correspondence mask M을 구성하고 어텐션에 log(M)을 더하면 이미지 토큰이 올바른 텍스트 토큰만 참조하도록 어텐션을 조정할 수 있다. 결과적으로 인스턴스 간 속성 누출이 감소하고, 텍스트-마스크 간 바인딩이 강화되어 세밀한 제어가 가능해진다.

전체 접근은 두 단계로 구성되어 첫 번째 단계에서 VLM을 이용해 인스턴스 수준 텍스트-시각 대응 𝒞={ (t_i, m_i) }을 구축하고 두 번째 단계에서 이 대응을 생성 모델의 어텐션에 직접 주입해 인스턴스 단위 제어를 달성하는 방식이다. 첫 단계의 핵심은 VLM이 텍스트에서 모든 서술적 명사구를 추출하고 각 구절에 토큰과 인스턴스 ID를 부여해 인스턴스 설명 t_i를 구성하는 것이다. 다수의 구절로 기술된 동일 인스턴스는 Shared SEG Token 전략으로 여러 토큰의 최종층 표현을 Concat해 하나의 통합 쿼리 h_i를 만들고 이를 SAM 디코더에 입력해 픽셀 단위 마스크 m_i^pred를 얻는다. 두 번째 단계에서는 예측된 마스크의 노이즈를 완화하기 위해 Mask Refinement Module(MRM)을 도입했다. MRM은 예측 마스크 m_i^pred, attention 기반 마스크 m_i^att, 신뢰도 s_i^pred, 이미지 잠재 특징 H_img를 입력으로 받고 경량 U-Net 구조 내의 intra/inter-instance attention과 ResNet 블록을 통해 정제 마스크 m_i^rfn을 출력한다. MRM은 s_i^pred가 높을 때 m_i^pred를 우선 유지하고 낮을 때 m_i^att 쪽으로 정합을 이동시키는 동적 동작을 보인다. 정제 마스크를 생성 과정에 통합하기 위해 각 인스턴스 텍스트 토큰 집합 𝒯_i와 이미지 토큰 집합 𝓘_i를 이용해 correspondence mask M을 구성했다. M[q,k]가 m_i^rfn인 경우 해당 이미지 토큰 q가 텍스트 토큰 k에 대해 제한된 어텐션을 갖게 되고 배경 토큰에 대해서는 1을 부여해 기존의 상호작용을 유지한다. 최종적으로 어텐션 계산은 Softmax((QK^T)/√d + log(M))V로 수행되어 관련 없는 어텐션 항을 실질적으로 차단한다.

논문은 MIG-Eval 및 COCO-POS 등 여러 벤치마크에서 비교를 수행했고 대부분의 조건( Canny, Depth, HED )에서 기존 방법보다 우수한 성능을 보였다. 예를 들어 MIG-Eval의 HED 조건에서 InstanceControl은 MIoU 0.8504를 기록해 FLUX ControlNet의 0.6817보다 유의미하게 높은 공간 정렬을 달성했다. 논문은 또한 canny 조건에서 Accuracy와 Local CLIP에서 약 12.3%의 이득을 보고해 라벨 없는 설정에서도 텍스트-영역 정합이 크게 개선됨을 확인했다. 정량적 지표 외에 정성적 실험에서 InstanceControl은 복잡한 인스턴스 중첩 상황에서 속성 혼동을 크게 줄였고, 예측 마스크의 오류가 심할 경우에는 사용자 제공 포인트나 바운딩 박스로 상호작용 보정을 수행해 추가 개선이 가능함을 보였다. Ablation 결과에서는 Shared SEG Token 적용이 MIoU 및 Region-wise 지표를 꾸준히 향상시켰고 Mask Refinement Module이 정제 마스크를 통해 최종 성능을 끌어올리는 핵심 요소로 확인되었다. 실험 설정 세부사항도 공개되어 있어 재현 가능성이 높다. 주요 학습 설정으로는 stage1에서 Sa2VA 기반 파인튜닝에 LoRA rank=256을 적용해 30k step, batch size 64, learning rate 4×10^{-5}로 학습했고 stage2의 생성 파인튜닝은 LoRA로 80k step, batch size 4, 초기 lr 1×10^{-4}를 사용했다. 모든 실험은 4장의 NVIDIA A6000 GPU에서 수행되었다.

전체 시스템은 두 단계로 구성되며 첫 단계는 VLM 기반의 인스턴스 설명 파싱 및 마스크 예측이고 두 번째 단계는 correspondence mask를 생성 모델의 어텐션에 주입해 제어를 수행하는 구조이다. 첫 단계에서는 Sa2VA 아키텍처를 백본으로 사용하고 VLM의 출력에서 생성된 토큰의 최종층 히든을 MLP로 투영해 SAM 디코더의 쿼리 표현으로 활용했다. 동일 인스턴스에 대한 다중 구절은 Shared SEG Token(SST) 전략으로 Concat해 unified representation을 만들고 이를 통해 SAM 디코더가 일관된 마스크를 예측하도록 했다. Mask Refinement Module은 경량 U-Net 기반 구조이며 각 블록 내에 ResNet 모듈과 intra/inter-instance attention을 포함한다. MRM은 입력으로 m_i^{pred}, m_i^{att}, s_i^{pred}, H_img를 받아 정제된 m_i^{rfn}을 출력한다. 동작 원리는 s_i^{pred}가 클수록 m_i^{pred}의 정보를 더 보존하고 s_i^{pred}가 작으면 attention 기반의 공간 의도에 더 의존하도록 가중합 및 학습 가능한 보정 연산을 수행하는 것이다. 생성 단계에서는 정제 마스크와 인스턴스 텍스트 토큰 집합을 이용해 correspondence mask M을 구성하고 어텐션 식에 log(M)을 더해 Softmax 입력을 조정했다. 수식적으로 Attention(Q,K,V)=Softmax(QK^T/√d + log(M))V로 처리되어 M[q,k]→0이면 해당 어텐션 항이 실질적으로 0에 가까워진다. 학습 손실은 flux loss(정류화된 flow-matching 손실)와 mask 예측 손실(BCE + DICE)의 조합으로 구성되어 MRM과 생성 모듈을 함께 최적화했다. 학습/구현 세부사항은 reproducibility를 고려해 공개되었고 stage1에서는 LoRA rank=256을 VLM·이미지 인코더·SAM에 적용해 30k steps, batch size 64, lr 4e-5(5% warmup), weight decay 0.05로 학습했다. stage2에서는 FLUX 기반 초기화 위에서 LoRA를 DiT 블록의 모든 linear layer에 적용해 80k steps, batch size 4, 초기 lr 1e-4의 cosine 스케줄로 미세조정했고 MRM은 예측 마스크로 10k steps 추가 학습했다. 실험은 4×NVIDIA A6000에서 수행되었다.

논문 자체에서 언급된 주요 실패 유형은 Stage1의 마스크 예측 오류로, 불완전한 영역, 위치 오프셋, 객체 누락이 주요 문제로 지적되었다. 이러한 심각한 예측 오류는 Stage2에서 잘못된 대응으로 이어져 생성 결과의 속성 바인딩 오류를 야기할 수 있다. Mask Refinement Module과 상호작용적 보정(포인트/박스 입력)을 통해 많은 오류를 완화했으나 논문은 여전히 위치 오프셋 및 누락된 객체에 대한 완전한 해결은 남아있음을 명시했다.