InsightTok: Autoregressive 이미지 생성을 위한 이산 토큰화의 텍스트·얼굴 충실도 향상

텍스트 인식과 얼굴 아이덴티티 보존은 이산 토크나이저로 작동하는 autoregressive 이미지 생성에서 취약점으로 남아 있다. InsightTok은 텍스트 및 얼굴 영역에 특화된 지역 perceptual 손실을 도입해 텍스트 가독성과 얼굴 유사성을 향상시키고, 16× 다운샘플링의 고정된 토크나이저 구조에서도 일반 재구성 품질을 유지한다. 이로써 텍스트-중심 및 얼굴 중심의 생성 시나리오에서 품질 차이를 크게 줄이고 downstream AR 모델의 텍스트-이미지 생성 성능을 높인다.

단락 1: 기존 discrete tokenizer는 픽셀 재구성 손실에 초점을 맞추어 텍스트 가독성 및 얼굴 아이덴티티 보존에 필요한 미세 구조를 상실할 위험이 크다. 텍스트 및 얼굴 영역은 이미지에서 작게 차지하므로 전역 손실에 의해 신호가 희석된다. 단순히 코드북 크기 증가나 토큰 수 확대로는 충분하지 않다. 단락 2: 본 논문은 region-aware supervision을 도입한다. 텍스트 인식 모델의 중간 특징을 활용해 텍스트 영역의 재구성을 지역별로 평가하고, 얼굴 인식 모델의 특징을 이용해 얼굴 영역의 재구성을 평가한다. 이를 Ltext, Lface로 정의하고 전체 손실에 더한다. 로컬 손실은 detector로부터 얻은 영역과 원본/재구성 이미지에서의 패치를 사용해 계산한다. 영역 가중치는 면적 비율로 설정해 다양한 스케일의 영역에 균형 있게 기여하도록 한다. 단락 3: 결과적으로 텍스트 정확도(T-ACC)와 얼굴 유사도(F-Sim)가 향상되며, 일반 재구성 품질(rFID, PSNR)도 손실 없이 유지된다. 16k 코드북에서도 65k 코드북에서도 향상된 성능이 확인되며, AR 기반 생성기 InsightAR에 대한 전이 효과도 입증된다. 논문의 핵심 아이디어는 perceptual supervision을 region 단위로 적용해 discrete tokenizer의 표현력을 고도화하는 것에 있다.

1. 전체 접근: Limage = Lrec + β Lcodebook + γ Lperc + η LGAN으로 구성된 VQGAN 스타일 토크나이저를 사용한다. 여기에 α1 Ltext, α2 Lface를 더해 InsightTok의 최종 손실 LInsightTok = Limage + α1 Ltext + α2 Lface를 구성한다. 2) Text Perceptual Loss: LAION에서 텍스트가 포함된 이미지에서 텍스트 박스 바운딩 박스를 얻고, 각 영역을 원본 x와 재구성 x̂에서 잘라 r_text, r̂_text로 매칭한다. 텍스트 인식 네트워크 Ftext의 중간 특징을 이용해 Ln_text를 계산하고, 전체 Ltext은 각 영역의 Ln_text에 면적 기반 가중치를 더해 합산한다. 3) Face Perceptual Loss: LAION의 얼굴 검출 결과에서 얼굴 영역을 정렬하고(Align & Warp), 정렬된 얼굴 패치를 x, x̂에서 r_face, r̂_face로 얻은 뒤 Fface의 중간 특징으로 Lm_face를 계산하고, 전체 Lface은 각 얼굴 인스턴스에 면적 기반 가중치를 적용해 합산한다. 4) 구현 및 학습 세부: 코드북 크기 16,384, 임베딩 차원 256, EMA를 사용한 코드북 업데이트, dead code 재시작(random restart)으로 활용도 유지. 텍스트 및 얼굴 탐지기 offline 전처리. 학습 데이터로는 ImageNet, LAION의 unannotated/region-annotated 데이터 혼합. 인코더+퀀타이저 학습 후 디코더 파인튜닝 단계. InsightAR은 7B LLM에 연결되는 MLP 어댑터를 통해 순차적으로 토큰을 예측하도록 구성.

이미지 재구성에서 InsightTok은 TokBench 텍스트 재구성(T-ACC, T-ACCm) 및 얼굴 재구성(F-Sim, F-Simm) 지표에서 기존 토크나이저를 능가한다. 동일 코드북 크기에서 T-ACCm은 53.05으로 second-best 대비 큰 폭으로 향상되었고, F-Simm은 0.36으로 상승했다. 일반 재구성 지표(rFID, PSNR)도 0.69, 23.64로 유지된다. AR 기반 텍스트-이미지 생성에서 InsightAR은 MagFace 점수 23.33으로 LlamaGenTok-AR의 22.29를 넘어섰고, 텍스트 길이 NED도 95.83으로 향상되었다. GenEval, DPG-Bench에서도 일반 멀티모달 성능이 준수하게 유지된다. 코드북 크기를 16k에서 65k로 확장해도 T-ACCm은 55.69, F-Simm은 0.40으로 향상된다. Overhead 비교에 따르면 텍셔너-관련 추가 연산은 총 FLOPs의 약 0.48%에 해당하는 Text/Face Recognition 모델 비용으로, per-iteration 총 시간은 약 2% 증가한다.

3.1 예비: 이산 이미지 토크나이저는 E/Q/C를 갖춘 VQGAN 구조를 채택하고, Limage = Lrec + β Lcodebook + γ Lperc + η LGAN으로 학습한다. Lcodebook은 EMA로 업데이트되는 코드북의 중심점과의 거리 제어를 포함한다. Lperc는 LPIPS 기반으로 이미지 전반의 사실감을 개선한다. 3.2 InsightTok: Ltext/Lface를 추가해 LInsightTok = Limage + α1 Ltext + α2 Lface로 최적화한다. 3.2.1 Text Perceptual Loss: 텍스트 박스 바운딩 박스를 이용해 r_text, r̂_text를 얻고, Ftext의 중간 레이어 특징을 이용해 Ln_text를 계산한다. 영역별 가중치는 Area(b_text)/Area(x)로 계산해 작은 영역의 과도한 영향력을 줄인다. 3.2.2 Face Perceptual Loss: 얼굴 검출 및 랜드마크를 이용해 정렬된 얼굴 패치를 얻고, Fface의 중간 특징으로 Lm_face를 계산한 뒤, M 얼굴 인스턴스에 Area(b_face)/Area(x) 가중치를 적용해 합산한다. 4 InsightAR: AE 기반 Transformer 계열의 AR 모델이며, 7B LLM에 연결되는 MLP 어댑터로 시퀀스 t를 다음 토큰으로 예측(p(t|t<i,T)). 5 구현: 426M 파라미터, 코드북 16k, embedding 256, Codbook EMA 업데이트, dead code restart, detector offline, 5일 간 32× A100 GPU 학습.

Limitations: 본 접근은 텍스트와 얼굴 재구성에 특화되어 있으며 모든 시각 콘텐츠에 일반화되지는 않는다. 텍스트 처리는 현재 영어에 한정되어 있으며, 텍스트 및 얼굴 탐지기가 오프라인으로만 사용되므로 데이터 품질에 의존한다. 얼굴 프라이버시 및 편향 문제에 대한 위험이 존재하며, 학술 연구용으로 한정한다.