Flash-BoN: 확산 모델 추론 시벽시계 예산을 확장하는 드래프트-선택-정제 파이프라인

확산 기반 텍스트-투-이미지 모델에서 더 많은 후보를 생성해 검증할수록 최종 출력 품질이 올라가지만, 중간 검증 비용이 무시되면 탐색 폭이 급격히 줄어든다. 이 논문은 함수 평가 수(NFE)만으로는 검증 오버헤드를 반영하지 못해 실사용 벽시계 예산에서는 탐색 중심 전략이 더 유리하다는 점을 실험적으로 입증했다. 그 결과 검증 호출을 최소화하고 생성 비용을 낮춘 뒤 최종 후보만 고품질로 정제하는 접근이 실제 배포 환경에서 효율적임이 확인되었다.

확산 모델의 표준 샘플링은 초기 가우시안 잡음에서 시작해 S개의 denoising 스텝을 순차적으로 수행하여 최종 이미지를 만든다. 각 스텝 내 U-Net 계열 블록들이 순차로 호출되므로 단일 이미지 생성 비용이 높고, 검증기를 중간에 자주 호출하면 생성 가능한 후보 수가 벽시계 예산 하에서 급격히 줄어든다. 기존 탐색 기반 방법들은 언제, 얼마나 자주 검증할지를 중심으로 설계되어 생성 비용 자체를 최적화하지 못했다.

핵심 아이디어는 생성 비용을 낮춘 '드래프트'를 대량으로 만들고 단일 혹은 제한된 검증으로 상위 후보만 골라 완전한 연산으로 정제하는 것이다. 드래프트는 세 가지 서로 보완적인 근사 기법으로 구성된다. 타임스텝 절단은 초기 일부 타임스텝까지만 실행해 빠른 미리보기를 생성하고, 레이어 스킵은 특정 블록들을 생략해 스텝당 연산을 줄이며, 활성화 프록시는 이전 타임스텝의 캐시된 활성값과 시차 미분을 이용해 다음 활성화를 테일러 전개로 근사함으로써 전체 계산을 대신한다.

이 세 기법을 독립적으로 적용하면 품질이 크게 훼손될 수 있으나, 이들을 이산 구성공간으로 합쳐 모델별로 한 번만 최적화하면 드래프트가 검증기의 선호를 보전하는 충분한 충실도를 유지한다. 다단계 검증은 먼저 값이 싸고 병렬화 가능한 포인트와이즈 평가로 후보를 크게 줄이고, 이어서 엘로 기반의 희소 쌍비교를 통해 불확실 구간에 계산 자원을 집중하며 마지막으로 소수 후보에 대해 촘촘한 쌍비교 토너먼트를 수행해 최종 선택의 신뢰도를 확보한다.

결과적으로 동일한 벽시계 예산에서 더 다양한 후보를 빠르게 탐색할 수 있으며, 후보 다양성은 최종 성능과 강한 양의 상관관계를 보였다. 또한 드래프트 전략을 기존 기법에 모듈로 결합하면 해당 기법의 주기당 비용을 낮춰 더 많은 반복 또는 더 넓은 탐색을 가능하게 한다.

전체 접근 방식은 사전학습된 확산 모델에 대해 모델별로 한 번 최적화되는 드래프트 구성 ϕ*를 찾고, 이를 사용해 많은 저비용 미리보기 후보를 생성한 다음 다단계 검증으로 상위 후보를 골라 선택된 후보만 정밀하게 완전 계산으로 정제하는 세 단계로 구성된다. 구성공간은 프리뷰에 사용할 타임스텝 수 S', 레이어 스킵 범위(ℓ_start, ℓ_end), 스킵이 시작되는 타임스텝 수 n_skip, 그리고 f_full과 같은 주기적 전체 연산 빈도로 정의되어 각 설정이 속도-충실도 트레이드오프를 만든다.

활성화 프록시는 캐시된 연속 타임스텝 활성값을 이용해 2차 테일러 전개로 다음 타임스텝의 활성화를 근사한다. 구체적으로 먼저 시차 Δt를 정의하고 캐시에서 1차 및 2차 시간 미분을 근사하여 h˜{t_i}^{(ℓ)} = h{t_{i+1}}^{(ℓ)} + Δt · 07h_{t_{i+1}}^{(ℓ)} + 1/2 Δt^2 · 44h_{t_{i+1}}^{(ℓ)} 형태로 레이어 출력을 대체한다. 레이어 스킵은 선택된 ℓ 범위에 대해 B_ℓ 연산을 모두 건너뛰고 직전 블록 출력을 그대로 전파함으로써 블록 단위 계산을 줄인다.

ϕ*는 모델별 캘리브레이션 세트(120개 프롬프트)에서 속도향상과 LPIPS 유사도를 동시에 고려하는 이산 최적화 문제로 설정되고 dual annealing 기반 탐색을 200회 반복해 Pareto 프론티어를 구성한 뒤 실용적 제약을 만족하는 지점을 선택한다. 드래프트 풀 M개는 서로 다른 랜덤 시드를 사용해 샘플링되며 생성 중 캐시된 잠정 latent와 활성화를 저장해 이후 선택된 후보만 GPU로 복원해 정제를 수행한다.

검증 단계는 포인트와이즈 점수로 ρ1 비율까지 병렬로 걸러내고 엘로 점수로 시드를 부여한 뒤 인접 희소 쌍비교를 κ·M1 개 수행해 순위를 정교화하고 마지막으로 남은 M2 후보에 대해 완전 토너먼트 쌍비교를 수행하는 방식으로 설계되어 전체 검증 호출을 전수(pairwise) 방식보다 크게 줄인다. 이 과정에서 쌍비교 결과는 신뢰도(높음·중간·낮음)에 따라 K-팩터를 가중치로 조정해 등급 갱신에 반영한다.

선택된 드래프트는 마르코프 성질을 이용해 저장된 latent z_{t_{S'}}에서 표준(비가속) 설정으로 샘플링을 재개해 최종 이미지를 얻는다. 드래프트 생성 시 CPU로 offload해 메모리 부담을 줄이고 선택된 후보만 GPU로 가져오는 워크플로가 포함되어 벽시계 비용에 데이터 전송 오버헤드가 반영된다.

주요 벤치마크(GenAI-Bench, GenEval, UniGenBench)와 세 모델 스케일에서 벽시계 예산을 기준으로 평가한 결과 Flash-BoN이 모든 조합에서 기존 기법을 능가했다. 표준화된 지표인 AUC/Time으로 요약하면 Flash-BoN은 Wan2.1 14B와 FLUX.1-dev 같은 큰 모델에서 BoN 대비 최대 +8% AUC 향상을 기록해 스케일이 커질수록 이득이 커지는 경향을 보였다. BoN은 NFE 기준에서 BFS 등에 밀리는 경우가 있었으나 벽시계 예산에서는 탐색 폭을 넓힌 덕에 경쟁력을 유지했다.

드래프트 전략을 Reflection-Tuning에 결합하면 AUC가 0.46에서 0.62로 증가해 약 +16% 포인트 개선이 관찰되었고, Flash-BFS 적용 시에는 0.495에서 0.558로 소폭 개선되었다. 후보 풀의 다양성(Vendi Score)과 최종 성과는 Pearson r = 0.75의 강한 양적 상관관계를 보였으며, Flash-BoN이 높은 다양성 쪽에 위치해 성능 향상과 연결되었다. 정성적 비교에서도 복합적 구성 요구 프롬프트에서 Flash-BoN이 레이아웃 정합성과 구성 요소 포함 측면에서 우수한 결과를 산출하는 사례가 보고되었다.

검증기 선택과 평가 메트릭의 상호작용도 평가했는데, 검증기와 평가 지표가 동일할 때 대각선 상의 개선폭이 가장 크게 나타났다. 한편 동일 모델을 검증기와 평가기로 동시에 쓰면 해당 모델의 편향을 과최적화하는 실패 모드가 관찰되어 검증기와 평가기의 분리가 권고되었다. RL 후학습 실험에서는 Flash-BoN 기반 롤아웃 선택을 Flow-GRPO에 적용해 초기 60 스텝 내에서 기준선 성능에 도달함으로써 약 10배 빠른 수렴 효율을 보였고 최종적으로도 우위를 유지했다.

아키텍처 관점에서 드래프트 생성은 원본 확산 모델의 연산 그래프를 건드리지 않고 실행 경로만 근사하는 비파괴적 방식으로 설계되어, 저장된 latent와 활성화를 사용해 정밀 연산으로 이어갈 수 있다. 활성화 프록시는 t_{i+1}, t_{i+2}, t_{i+3}에서의 캐시된 활성값으로부터 시간 미분을 근사해 2차 테일러 전개로 h̃_{t_i}^{(ℓ)}를 계산하며 이 근사치는 실제 블록 전방연산을 완전히 대체한다. 레이어 스킵은 특정 연속 블록 구간 ℓ_start..ℓ_end를 지정해 해당 블록의 출력 대신 직전 블록 출력을 전파하는 방식으로 구현된다.

구성(ϕ)의 탐색은 캘리브레이션 세트 120프롬프트에서 LPIPS 유사도와 wall-clock 속도향상을 목표로 하는 이산 최적화 문제로 정의되며 dual annealing 최적화 기법을 200 반복 적용해 Pareto 프론티어를 구축했다. Pareto 상의 해들 중 유사도 제약을 만족하는 지점을 실용해 선택해 모델별 ϕ*를 고정한다. 이 사전 최적화 단계는 프롬프트별 튜닝 비용을 제거하고 드래프트 품질의 일관성을 확보하는 핵심 절차다.

다단계 검증에서 포인트와이즈 평가는 병렬 실행 가능성이 있어 전체 후보 M에 대해 빠르게 점수를 부여하고 엘로 시드 r_j^{(0)} = 1500 + (s_j - 5)·100 방식으로 초기 등급을 부여한다. 이후 인접 희소 쌍비교를 κ·M1 개 수행할 때 각 쌍에 대해 검증기가 반환하는 신뢰도(높음·중간·낮음)를 K-팩터에 1.2/1.0/0.7으로 반영해 등급 업데이트의 가중치를 조절한다. 최종적으로 작은 M2 집합에 대해 모든 쌍비교를 수행해 확률적 노이즈로부터의 안정성을 확보한다.

실험 인프라는 H200 GPU를 사용해 생성·검증·정제·데이터 전송을 포함한 종단간 벽시계 시간을 측정했고 CPU 오프로딩을 통해 드래프트 캐시 관리를 운영했다. 검증기와 평가지표를 동일 모델로 겹쳐 쓰면 메트릭 특이적 편향을 과최적화할 위험이 커서 실제 평가는 분리된 평가 모델 또는 프로그램적 체크커를 이용해 수행했다.

논문은 드래프트-정제 전략이 텍스트-투-비디오로 확장될 때 시간적 일관성을 유지하는 정책 설계와 드래프트 품질을 전제한 전용 검증기 학습이 필요하다고 명시했다. 검증기의 편향성 문제로 동일 모델을 검증기·평가기로 동시에 사용할 경우 편향이 과최적화로 이어지는 실패 모드가 관측되어 검증기 선택에 주의가 필요하다. 또한 드래프트 품질 보장을 위한 모델별 ϕ* 탐색이 캘리브레이션 세트에 의존하므로 해당 세트의 대표성이 낮으면 전이 성능이 저하될 가능성이 있음이 언급되었다.