HiLo-Token: 입력 적응형 고저주파 토큰 압축으로 효율적인 이미지 편집

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대화형 이미지 편집에서 DiT의 토큰 수가 많아 인퍼런스 지연의 주요 원인이다. HiLo-Token은 editing 마스크 내부의 로컬 정보를 보존하고 외부 영역은 고주파/저주파를 구분해 토큰을 선택적으로 배치함으로써 평균 DiT 속도를 크게 높이고, 전체 파이프라인의 비용을 감소시킨다.

왜 중요한가

핵심 기여

입력 적응형 토큰 배치

마스크 영역 내 토큰은 모두 유지하고, 외부 영역은 고주파 토큰과 16× 다운샘플링된 저주파 토큰으로 구성된 HiLo-Token 표현으로 DiT에 전달한다.

저비용의 주파수 기반 토큰 선택

Sobel 기반의 공간 주파수 맵을 이용해 고주파 토큰을 선별하고, 16× 다운샘플링된 이미지의 저주파 토큰으로 보완해 컨텍스트를 보존한다.

적응적 계산 과부하 관리

토큰 선택 연산은 약 10 ms로 미미한 오버헤드를 더하고, 8-step distillation과 FP8 양자화 등과도 호환되어 클라우드 비용 절감과 실무 적용 가능성을 높인다.

실무 배포 및 학습 전략과의 호환성

SFT, Distillation, 및 VAE/Refiner를 포함한 ME 아키텍처에 HiLo-Token을 적용해 전문 모델을 빠르게 훈련하고 배포할 수 있다.

핵심 아이디어 이해하기

단계 1: 그림/텍스처가 복잡한 영역은 고주파 토큰으로 세부 정보를 보존하기 위해 높은 토큰 밀도를 유지한다. 단계 2: 마스크 외부의 저주파 생성은 16× 다운샘플링된 VAE 인코더를 통해 블러링된 전역 구조를 유지한다. 단계 3: Sobel 기반 주파수 맵과 지역화/임계값 처리를 통해 토큰 선택의 공간적 일관성을 확보한다. 단계 4: 선택된 고주파 토큰과 저주파 토큰을 결합해 HiLo-Token 표현을 구성하고 DiT에 입력한다.

방법론

마스크 외부 영역과 내부 영역에 다른 토큰 배치를 적용하는 이원적 토큰 표현으로, 고주파 토큰은 지역 정보를 보존하고 저주파 토큰은 전역 구조를 유지한다. Sobel 연산으로 주파수 맵을 만들고, 16× 다운샘플링된 이미지의 VAE 인코더 출력으로 저주파 토큰을 얻으며, 출력은 patchify를 통해 DiT의 입력으로 연결된다.

주요 결과

HiLo-Token은 92개의 대표 사례에서 DiT의 latency를 1.67×, 2.59×, 3.13× 감소시켰고, 엔드투엔드 인퍼런스의 전체 속도 향상은 1.33×, 1.66×, 1.77×로 나타난다. 또한 p5.48xlarge 노드 필요량을 약 33% 감소시켰다.

키워드

diffusion-transformers(확산 변환기)token compression(토큰 압축)HiLo-Token(하이로토큰)spatial frequency(공간 주파수)low-frequency(저주파)high-frequency(고주파)image editing(이미지 편집)latency(대기시간)

용어 해설

Sobel Operator: — 공간 주파수 맵을 생성해 고주파 성분의 분포를 추정하는 기법으로, 이미지의 가장자리와 미세한 텍스처를 강조하는 에지 검출 연산자인 Sobel의 결과를 토큰 선택에 정보를 제공하는 데 활용한다.
LazyDiffusion: — ui 상의 마스크 영역을 보존하고 외부 영역은 저해상도 표현으로 처리하는 컨텍스트 인코딩 방식으로, 토큰 드롭과 선택의 초기 가정에 기여한다.
VAE Encoder: — 이미지와 마스크를 잠재 공간으로 인코딩하는 VAE 구성 요소로, DiT가 잠재 공간에서 작동하도록 하여 계산 효율을 높인다.
Diffusion Transformers: — 확산 모델의 트랜스포머 기반 구성으로, 고해상도 이미지 편집에 필요한 컨텍스트 정보를 학습하고 생성한다.