WithEveryone으로 5명에서 10명까지 단체 이미지 생성

왜 중요한가

여러 참조 인물을 한 장의 이미지에 넣으면 얼굴 특징이 서로 섞이고, 같은 얼굴이 반복되거나 인물과 위치의 연결이 틀어지는 문제가 커집니다. WithEveryone은 각 신원을 주소가 있는 token으로 배치하고, layout annotation에서 인물별 대응을 직접 읽어 신원 손실을 계산해 5명에서 10명 규모의 그룹 생성을 다룹니다. 신원 분리 벤치마크에서 Sim(Tgt) 0.499와 Coverage 0.973을 기록하면서 GPT-Image 2보다 높은 목표 맥락 유사도와 낮은 Copy-Paste 점수를 함께 얻었습니다.

핵심 기여

신원과 위치를 하나의 계획으로 결합

모델은 선택된 참조 인물을 ID token으로 불러온 뒤 각 인물을 얼굴 영역, 신체 범위, 자세와 연결된 Layout CoT로 배치합니다. 이 계획은 결정론적 renderer를 거쳐 이미지 생성의 시각 조건이 됩니다. 따라서 참조 목록을 단순한 무순서 집합으로 처리하지 않고 누가 어느 위치를 담당하는지 함께 결정합니다.

Layout-Grounded ID Loss로 얼굴 대응 문제 제거

기존 다인원 신원 손실은 생성된 얼굴 embedding과 참조 embedding을 매칭해야 하므로 학습 초기의 noisy face에서 잘못된 대응이 발생합니다. LG-ID Loss는 layout annotation의 고정된 얼굴 bounding box에서 예측 이미지와 목표 이미지를 같은 위치로 잘라 각 신원을 직접 비교합니다. 이 방식은 인원수가 5명에서 10명으로 늘어도 별도의 얼굴 매칭 과정 없이 신원별 감독을 유지합니다.

ID Representation Forcing으로 신원 표현을 보존

각 참조 인물의 512차원 ArcFace embedding을 ID token으로 투입하는 것만으로는 10K에서 20K token의 긴 문맥에서 해당 정보가 사용된다고 보장하기 어렵습니다. 모델은 이미지 합성 전에 인물별 representation token을 통해 ArcFace 공간의 신원 표현을 예측하고, 이 예측을 목표 얼굴 embedding과 정렬합니다. 이 hidden state가 이후 이미지 token에 인과적으로 전달되어 신원별 생성 scaffold를 형성합니다.

5명에서 10명 그룹을 위한 평가 체계 구축

논문은 학습 인물과 평가 인물을 분리한 210개 실제 그룹 사진 벤치마크를 만들고, identity similarity, coverage, duplicate rate, Copy-Paste, layout 지표를 함께 측정합니다. WithEveryone은 Sim(Tgt) 0.499, Coverage 0.973, Dup 0.028을 기록했습니다. 결과 분석은 이미지 생성이 자체 계획을 따르는 실행보다 좋은 layout 계획을 만드는 일이 남은 오류의 중요한 원인임을 구분합니다.

핵심 아이디어 이해하기

기존 identity-preserving generation은 참조 얼굴을 조건으로 주고 생성 얼굴이 해당 인물과 닮도록 학습하지만, 여러 사람이 한 장면에 들어가면 각 참조가 어느 얼굴을 제어하는지 불분명해집니다. 특히 5명에서 10명의 얼굴이 noisy한 학습 단계에서 비슷하게 나타나면 생성 얼굴 embedding과 참조 embedding을 매칭하는 과정이 임의적으로 변합니다. 잘못 연결된 얼굴은 서로 다른 신원의 감독 신호를 상쇄해, 사람 수가 늘수록 신원 보존이 약해집니다.

WithEveryone은 먼저 선택된 각 참조 인물에서 512차원 ArcFace embedding을 추출하고 이를 모델 차원의 ID token으로 변환합니다. 이어서 모델은 인물 번호, 얼굴 bounding box, 신체 영역, pose keypoint를 포함한 Layout CoT를 순서대로 예측하며 ID token과 특정 위치의 인물을 연결합니다. 이렇게 하면 입력은 무순서 참조 집합이 아니라 신원과 공간 역할이 함께 기록된 계획이 됩니다.

ID token이 긴 문맥에서 무시되지 않도록 ID Representation Forcing는 합성 전 인물별 representation token에서 ArcFace embedding을 예측하게 합니다. 예측 embedding과 목표 얼굴 embedding의 cosine alignment를 계산하고 그 hidden state를 뒤따르는 이미지 token이 사용할 수 있게 합니다. 동시에 LG-ID Loss는 생성 이미지에서 얼굴을 다시 찾지 않고 annotation에 지정된 동일 영역을 잘라 비교하므로, 입력은 위치별 얼굴 crop이고 출력은 해당 신원의 직접적인 유사도 감독이 됩니다.

마지막으로 renderer는 예측한 얼굴 영역과 신체 영역, pose skeleton을 빈 캔버스에 그려 이미지 조건으로 변환합니다. Flow-based image generation은 이 시각 layout과 신원 표현을 바탕으로 목표 이미지를 합성하며, 계획된 위치에 올바른 인물을 넣어야 LG-ID Loss를 줄일 수 있습니다. 그래서 신원 보존과 공간 구성은 별도의 후처리가 아니라 하나의 인과적 문맥에서 함께 결정됩니다.

방법론

WithEveryone은 텍스트 prompt, 5명에서 10명의 참조 이미지, 선택된 ID token, 구조적 layout 계획, 렌더링된 layout 조건, 목표 이미지를 하나의 causal sequence에 interleave합니다. 텍스트와 구조적 reasoning은 autoregressive next-token prediction으로 학습하고, 목표 이미지 latent는 flow matching으로 학습하는 transfusion-style mixture-of-transformers 구조를 사용합니다. 모델은 먼저 장면에 참여할 참조 인물을 선택하고, 각 인물의 embedding을 ID token으로 삽입한 뒤 layout과 신원 표현을 예측하고 이미지 latent를 생성합니다.

각 선택 인물에서 추출한 512차원 ArcFace embedding은 lightweight MLP를 거쳐 모델 hidden dimension으로 투영됩니다. ID Representation Forcing에서는 representation token의 hidden state를 출력 projector에 통과시켜 예측 embedding을 얻고, 목표 인물의 ArcFace embedding과 cosine 정렬 손실을 계산합니다. 손실은 $\mathcal{L}_{RF}=\frac{1}{M}\sum_{i=1}^{M}(1-\cos(\hat{e}_{i},e^{tgt}_{i}))$ 이며, $M$ 은 감독할 인원 수이고 $\hat{e}_{i}$ 와 $e^{tgt}_{i}$ 는 각각 예측 embedding과 목표 embedding입니다. 각 예측 embedding과 목표 embedding의 cosine similarity가 1에 가까워질수록 손실은 0에 가까워져 해당 인물의 신원 표현이 일치합니다.

Layout CoT는 identity-layout binding, 인물 영역, 얼굴 영역, 신체 범위, pose keypoint를 고정된 인과 순서로 생성합니다. 좌표 vocabulary는 2,002개 token으로 구성되며 각 축에 1,001개의 위치를 할당합니다. 예측된 좌표와 영역을 parser가 읽은 뒤 renderer가 얼굴 사각형, 신체 사각형, pose skeleton을 target aspect ratio의 빈 캔버스에 그려 조건 이미지로 만듭니다. 이 조건 이미지는 이후 flow-based 이미지 생성 단계에 입력되어 모델이 스스로 정한 공간 구성을 실행하도록 합니다.

LG-ID Loss는 생성 얼굴과 참조 얼굴의 embedding을 먼저 매칭하지 않습니다. 각 신원에 annotation으로 지정된 target face bounding box와 landmark가 있으므로 예측 이미지와 목표 이미지를 동일한 영역에서 crop하고, 두 crop을 ArcFace로 인코딩해 직접 비교합니다. noisy one-step estimate에 인식 가능한 얼굴이 생기는 timestep 구간에서만 손실을 적용하며, 전체 학습 목적은 $\mathcal{L}=\mathcal{L}_{NTP}+\lambda_{FM}\mathcal{L}_{FM}+\lambda_{RF}\mathcal{L}_{RF}+\lambda_{ID}\mathcal{L}_{ID}$ 입니다. 여기서 $\lambda_{FM}=1.0$ , $\lambda_{RF}=1.0$ , $\lambda_{ID}=0.5$ 로 설정되어 token 예측, flow matching, 표현 강제, 위치 기반 신원 감독을 결합합니다.

주요 결과

신원 분리 벤치마크는 학습 인물과 겹치지 않는 실제 그룹 사진 210개로 구성되며, 각 장면은 5명에서 10명의 참조 인물을 포함합니다. 세 얼굴 인식 backbone의 평균으로 계산한 Sim(Tgt)에서 WithEveryone은 0.499를 기록해 GPT-Image 2의 0.462보다 높았습니다. Sim(Ref)은 0.540으로 GPT-Image 2의 0.583보다 낮았지만, Copy-Paste 점수는 0.055로 GPT-Image 2의 0.169보다 낮아 참조 얼굴을 그대로 복사하는 경향이 적었습니다.

요청된 인물을 얼마나 빠짐없이 분리해 생성하는지 측정한 Coverage는 0.973이었고, 다른 신원이 같은 생성 얼굴을 차지하는 Dup은 0.028이었습니다. 비교 대상 중 Seedream 5.0 Pro는 Coverage 0.913과 Dup 0.065, GPT-Image 2는 Coverage 0.905와 Dup 0.075를 기록했습니다. WithEveryone은 CLIP-I 0.861과 DINO-I 0.716을 얻었으며, CLIP-T는 0.273으로 ID-Patch의 0.331이나 UniPortrait의 0.301보다 낮았습니다.

참조 인원 수가 5명에서 10명으로 늘어날 때 ArcFace 유사도는 WithEveryone에서 0.629에서 0.571로 감소했습니다. 같은 구간에서 GPT-Image 2는 0.593에서 0.496, UMO는 0.412에서 0.330으로 감소해 WithEveryone의 감소 폭이 작았습니다. 상대적 얼굴 크기 변화에 대한 유사도 기울기도 WithEveryone은 −0.002로 거의 평평했으며, 비교 모델은 얼굴 크기 1%포인트 증가마다 0.016에서 0.019의 유사도 변화를 보였습니다.

절제 실험에서 LG-ID Loss만 추가한 P6는 기본 P1보다 Sim(Ref)을 0.339에서 0.506으로, Sim(Tgt)을 0.304에서 0.435로 높였습니다. 동시에 Count는 0.771에서 0.845, Coverage는 0.741에서 0.947로 증가해 위치 기반 신원 감독이 얼굴 유사도뿐 아니라 공간 배치에도 신호를 제공했습니다. 전체 모델 P7은 Sim(Ref) 0.555와 Sim(Tgt) 0.461을 기록했지만 Layout CoT, ID token, Representation Forcing, 추가 text-to-layout corpus를 함께 바꾸었으므로 개별 요소의 증가분으로 분리하지 않았습니다.

기술 상세

모델은 텍스트와 구조적 reasoning을 autoregressive 방식으로 예측하고 이미지 latent를 flow matching으로 학습하는 mixture-of-transformers multimodal architecture를 사용합니다. 입력 sequence에는 reference image, prompt, identity selection, ID loading, layout planning, rendered layout condition, recaption, identity prediction, target image가 이 순서로 interleave됩니다. 따라서 understanding 단계에서 결정한 신원과 layout hidden state가 뒤따르는 이미지 token의 causal context로 전달됩니다.

ID Representation Forcing는 각 선택 인물마다 representation token을 두고, 앞선 prompt, visual reference, ID token, layout reasoning으로부터 hidden state $h^{rep}_{i}$ 를 계산합니다. 출력 projector $g_{out}$ 은 이를 ArcFace 공간의 예측 embedding $\hat{e}_{i}=g_{out}(h^{rep}_{i})$ 로 변환하며, 목표 embedding $e^{tgt}_{i}$ 와 cosine 정렬을 계산합니다. 예를 들어 cosine similarity가 0.9이면 해당 항의 손실은 $1-0.9=0.1$ 이고, similarity가 0.5이면 손실은 0.5가 되어 후자의 신원 표현을 더 강하게 수정합니다. Figure 9의 layer 24 사례에서 대응 ID token에 대한 diagonal attention은 0.378에서 0.574, 비대응 identity에 대한 attention은 0.104에서 0.121로 나타나 identity-specificity gap은 +0.275에서 +0.467이었습니다.

Layout CoT의 좌표 vocabulary는 각 축의 1,001개 위치를 표현하는 2,002개 token으로 구성됩니다. 모델은 먼저 인물 번호와 identity-layout binding을 결정하고, 이어 얼굴 영역, body extent, pose keypoint를 앞선 선택에 조건화해 출력합니다. renderer는 이 구조를 target aspect ratio의 blank canvas 위에 사각형과 skeleton으로 그려 이미지 조건을 만들며, Plan IoU는 생성 이미지의 person layout이 모델 자체 계획과 얼마나 겹치는지 측정합니다.

LG-ID Loss에서 noisy latent $x_t$ 와 모델의 reverse-flow velocity $v_{\theta}(x_t,t)$ 가 주어지면 한 단계 깨끗한 이미지 추정값은 $\hat{x}_{clean}=x_t-t\,v_{\theta}(x_t,t)$ 로 계산됩니다. $x_t$ 는 현재 timestep의 noisy latent이고 $t$ 는 noise timestep, $v_{\theta}$ 는 모델이 예측한 이동 속도이며, 이 연산은 현재 latent에서 예측 속도에 timestep을 곱한 값을 빼서 clean-image estimate를 출력합니다. 예를 들어 $t=0.2$ 이고 velocity 성분이 3이면 해당 성분은 $x_t-0.6$ 으로 이동하며, 이후 annotation 영역 crop이 ArcFace 입력으로 사용됩니다. 얼굴이 인식되기 어려운 높은 noise 구간에서는 손실을 적용하지 않아 무의미한 face matching을 피합니다.

전체 손실은 NTP, flow matching, representation forcing, layout-grounded identity supervision의 합으로 구성됩니다. Connector text, layout token, summary, recaption은 NTP로 학습하고 target-image latent는 flow matching으로 학습하며 identity prediction은 cosine alignment로 학습합니다. 학습 계수는 $\lambda_{FM}=1.0$ , $\lambda_{RF}=1.0$ , $\lambda_{ID}=0.5$ 이고, 추론 시 target identity embedding은 조건으로 넣지 않고 Representation Forcing의 학습 target으로만 사용합니다.

한계점

논문은 생성 결과의 잔여 오류가 plan execution보다 plan prediction에 더 크게 남아 있을 가능성을 제시하지만, 이 결론은 자체 계획과 ground-truth layout을 비교한 분석에 기반합니다. 또한 Representation Forcing의 attention 분석은 대응 ID token에 대한 국소적인 attention 차이를 확인한 것이며, Representation Forcing가 없는 모델과의 완전한 routing 효과를 직접 입증하지는 않습니다. 평가는 5명에서 10명의 참조 인물과 210개 identity-disjoint 사례에 한정되어 있어 더 큰 그룹이나 다른 데이터 분포로의 성능은 논문에서 확인되지 않았습니다.

실무 활용

WithEveryone은 여러 사람의 참조 이미지와 prompt를 입력받아 신원, 위치, 자세를 함께 계획한 그룹 이미지를 생성하는 연구용 framework입니다. 코드 저장소가 공개되어 있어 5명에서 10명 규모의 identity-preserving group image generation을 재현하거나 layout 계획과 신원 손실을 비교하는 실험에 활용할 수 있습니다.

다수 인물의 단체 이미지 합성 실험에 활용할 수 있습니다. 여러 참조 이미지에서 선택된 ID token을 만들고 Layout CoT로 인물별 얼굴 영역과 자세를 지정한 뒤 하나의 그룹 이미지를 생성합니다. 생성 결과는 Sim(Tgt), Coverage, Dup, Copy-Paste로 신원 보존과 중복 문제를 함께 평가할 수 있습니다.
신원 손실 설계와 layout supervision을 비교하는 연구에 사용할 수 있습니다. Hungarian matching 대신 annotation의 고정된 face bounding box에서 crop을 만들고 LG-ID Loss를 적용하는 방식이 핵심 비교 대상입니다. P1, P6, P7 절제 결과를 기준으로 layout 조건과 ID Representation Forcing의 추가 효과를 분리해 실험할 수 있습니다.
그룹 생성 모델의 계획 오류와 실행 오류를 나누는 분석에 활용할 수 있습니다. 모델이 예측한 layout을 renderer로 조건화한 뒤 Plan IoU로 계획 실행 정도를 측정하고, ground-truth layout을 넣은 결과와 비교합니다. 자체 계획에서 Plan IoU 0.773을 얻고 ground-truth layout에서 신원과 coverage가 더 상승한 결과는 계획 품질을 개선할 실험 방향을 제공합니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

identity-preserving image generation(신원 보존 이미지 생성)addressed token(주소 지정 token)identity-layout plan(신원과 layout 계획)Layout-Grounded ID Loss(배치 기반 신원 손실)ID Representation Forcing(신원 표현 강제)identity-disjoint benchmark(신원 분리 벤치마크)target-context identity similarity(목표 맥락 신원 유사도)

용어 해설

신원 보존 이미지 생성(Identity-Preserving Generation): — 참조 이미지에 담긴 사람의 얼굴 특징을 새 이미지에서도 유지하는 생성 방식입니다. 입력된 인물의 정체성 정보를 이미지 조건으로 전달하고, 생성된 얼굴이 참조 인물과 일치하도록 학습 손실을 적용합니다. 여러 사람을 동시에 다룰 때는 인물별 구분과 위치 연결까지 필요합니다.
ArcFace: — 얼굴 이미지를 512차원 embedding으로 변환해 사람의 신원 특징을 비교하는 얼굴 인식 모델입니다. WithEveryone은 참조 인물과 목표 인물의 embedding을 만들고, 예측된 얼굴의 신원 유사도를 계산하는 데 사용합니다. ID Representation Forcing와 LG-ID Loss의 신원 표현 공간으로도 활용됩니다.
Flow Matching: — 노이즈가 섞인 이미지 latent에서 깨끗한 이미지로 이동하는 속도장을 학습하는 생성 방법입니다. WithEveryone은 텍스트와 구조적 계획을 먼저 예측한 뒤 flow matching으로 목표 이미지 latent를 복원합니다. 현재 latent와 예측 velocity를 이용해 한 단계의 깨끗한 이미지 추정값을 만들고 LG-ID Loss를 적용합니다.
Layout Chain of Thought: — 여러 인물의 신원과 위치, 얼굴 영역, 신체 범위, 자세를 인과적 순서로 기록하는 구조적 계획 표현입니다. 모델은 2,002개의 좌표 토큰으로 각 축의 1,001개 위치를 표현하고, 앞서 결정한 인물과 영역을 조건으로 다음 배치를 예측합니다. 이후 결정론적 renderer가 이 계획을 캔버스와 시각 조건으로 변환합니다.
신원 분리 벤치마크(Identity-Disjoint Benchmark): — 학습 데이터에 등장한 사람과 평가 데이터의 사람이 겹치지 않도록 구성한 평가 세트입니다. 이 논문에서는 5명에서 10명의 참조 인물을 포함한 실제 그룹 사진 210개를 사용하고, 평가 인물과 관련된 학습 샘플을 제거했습니다. 따라서 이미지 암기보다 보지 못한 인물에 대한 일반화 성능을 측정합니다.

WithEveryone으로 5명에서 10명까지 단체 이미지 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드