Flash-BoN: 확산 모델 추론 시벽시계 예산을 확장하는 드래프트-선택-정제 파이프라인

왜 중요한가

확산 기반 텍스트-투-이미지 모델에서 더 많은 후보를 생성해 검증할수록 최종 출력 품질이 올라가지만, 중간 검증 비용이 무시되면 탐색 폭이 급격히 줄어든다. 이 논문은 함수 평가 수(NFE)만으로는 검증 오버헤드를 반영하지 못해 실사용 벽시계 예산에서는 탐색 중심 전략이 더 유리하다는 점을 실험적으로 입증했다. 그 결과 검증 호출을 최소화하고 생성 비용을 낮춘 뒤 최종 후보만 고품질로 정제하는 접근이 실제 배포 환경에서 효율적임이 확인되었다.

핵심 기여

NFE 기반 비교의 한계와 벽시계 평가의 필요성

논문은 NFE가 중간 검증 오버헤드를 무시해 방법 간 효율성 순위를 왜곡한다고 실험적으로 보여주었다. 동일 NFE 환경에서 BFS가 우수하게 보이지만 벽시계 시간으로 평가하면 BoN 계열이 더 많은 후보를 탐색해 우수한 성능을 낸다는 결과가 제시되었다. 이로 인해 실제 배포 측면에서는 전체 비용을 반영한 벽시계 측정이 필수라는 결론이 도출되었다.

드래프트 생성용 세 가지 가속 손잡이 통합과 모델별 최적화

타임스텝 절단, 레이어 스킵, 활성화 프록시라는 세 기법을 하나의 이산 구성공간으로 규정하고 모델별로 한 번만 최적화하여 ϕ*를 얻하는 절차를 도입했다. 최적화는 속도 향상과 LPIPS 기반 유사도 제약을 동시 만족하는 해를 찾도록 설정되어 있으며, Pareto 프론티어에서 실용점을 선택해 온전한 프롬프트별 튜닝을 불필요하게 만들었다. 이 접근은 드래프트의 일관성을 보장해 검증점수의 전이가 가능하도록 설계되었다.

다단계 검증 프로세스와 효율적 쌍비교 활용

초기에는 병렬 가능한 포인트와이즈 점수로 후보를 대폭 걸러내고 그 다음 엘로 기반의 희소 쌍비교를 수행해 순위를 정교화한 뒤 마지막으로 소수 후보에 대해 완전한 토너먼트 쌍비교를 수행하는 다단계 절차를 제안했다. 이 절차는 전수 쌍비교의 O(M^2) 비용을 피하면서도 최종 선별 정확도를 높이도록 설계되어 평균적으로 약 1.5M 검증 호출 수준으로 비용을 억제한다. 쌍비교 결과는 신뢰도에 따라 K-팩터를 조정해 등급 갱신에 반영한다.

광범위한 벤치마크와 모델 스케일에서의 일관된 성능 향상

세 가지 벤치마크(GenAI-Bench, GenEval, UniGenBench)와 세 모델 스케일(Wan2.1 1.3B, Wan2.1 14B, FLUX.1-dev)에서 벽시계 예산 기준으로 Flash-BoN이 모든 조합에서 기존 기법을 능가했다. 특히 모델 스케일이 커질수록 이득이 커져 AUC 기준으로 최대 +8% 개선이 관찰되었다. 추가로 Flash 드래프트를 기존 방법(예: Reflection-Tuning)에 결합하면 AUC가 6–16% 개선되는 모듈형 이점이 확인되었다.

후속 학습 상황에서의 후보 다양성 유도와 RL 수렴 가속

후보 풀의 다양성과 최종 성과가 양의 상관관계(Pearson r = 0.75)를 보였고, 드래프트 기반 선택을 Flow-GRPO에 적용하면 동일 하이퍼파라미터 조건에서 약 10배 적은 그래디언트 스텝으로 동등한 성능을 달성할 수 있음을 실험으로 보였다. 드래프트 풀을 넓히면 희귀하지만 유익한 샘플을 포함시킬 확률이 올라가 학습 신호의 품질이 개선된다. 이로써 추론 수준의 탐색 전략이 사후 학습 효율에도 직접적인 이득을 준다는 근거가 제시되었다.

핵심 아이디어 이해하기

확산 모델의 표준 샘플링은 초기 가우시안 잡음에서 시작해 S개의 denoising 스텝을 순차적으로 수행하여 최종 이미지를 만든다. 각 스텝 내 U-Net 계열 블록들이 순차로 호출되므로 단일 이미지 생성 비용이 높고, 검증기를 중간에 자주 호출하면 생성 가능한 후보 수가 벽시계 예산 하에서 급격히 줄어든다. 기존 탐색 기반 방법들은 언제, 얼마나 자주 검증할지를 중심으로 설계되어 생성 비용 자체를 최적화하지 못했다.

핵심 아이디어는 생성 비용을 낮춘 '드래프트'를 대량으로 만들고 단일 혹은 제한된 검증으로 상위 후보만 골라 완전한 연산으로 정제하는 것이다. 드래프트는 세 가지 서로 보완적인 근사 기법으로 구성된다. 타임스텝 절단은 초기 일부 타임스텝까지만 실행해 빠른 미리보기를 생성하고, 레이어 스킵은 특정 블록들을 생략해 스텝당 연산을 줄이며, 활성화 프록시는 이전 타임스텝의 캐시된 활성값과 시차 미분을 이용해 다음 활성화를 테일러 전개로 근사함으로써 전체 계산을 대신한다.

이 세 기법을 독립적으로 적용하면 품질이 크게 훼손될 수 있으나, 이들을 이산 구성공간으로 합쳐 모델별로 한 번만 최적화하면 드래프트가 검증기의 선호를 보전하는 충분한 충실도를 유지한다. 다단계 검증은 먼저 값이 싸고 병렬화 가능한 포인트와이즈 평가로 후보를 크게 줄이고, 이어서 엘로 기반의 희소 쌍비교를 통해 불확실 구간에 계산 자원을 집중하며 마지막으로 소수 후보에 대해 촘촘한 쌍비교 토너먼트를 수행해 최종 선택의 신뢰도를 확보한다.

결과적으로 동일한 벽시계 예산에서 더 다양한 후보를 빠르게 탐색할 수 있으며, 후보 다양성은 최종 성능과 강한 양의 상관관계를 보였다. 또한 드래프트 전략을 기존 기법에 모듈로 결합하면 해당 기법의 주기당 비용을 낮춰 더 많은 반복 또는 더 넓은 탐색을 가능하게 한다.

방법론

전체 접근 방식은 사전학습된 확산 모델에 대해 모델별로 한 번 최적화되는 드래프트 구성 ϕ*를 찾고, 이를 사용해 많은 저비용 미리보기 후보를 생성한 다음 다단계 검증으로 상위 후보를 골라 선택된 후보만 정밀하게 완전 계산으로 정제하는 세 단계로 구성된다. 구성공간은 프리뷰에 사용할 타임스텝 수 S', 레이어 스킵 범위(ℓ_start, ℓ_end), 스킵이 시작되는 타임스텝 수 n_skip, 그리고 f_full과 같은 주기적 전체 연산 빈도로 정의되어 각 설정이 속도-충실도 트레이드오프를 만든다.

활성화 프록시는 캐시된 연속 타임스텝 활성값을 이용해 2차 테일러 전개로 다음 타임스텝의 활성화를 근사한다. 구체적으로 먼저 시차 Δt를 정의하고 캐시에서 1차 및 2차 시간 미분을 근사하여 h˜{t_i}^{(ℓ)} = h{t_{i+1}}^{(ℓ)} + Δt · 07h_{t_{i+1}}^{(ℓ)} + 1/2 Δt^2 · 44h_{t_{i+1}}^{(ℓ)} 형태로 레이어 출력을 대체한다. 레이어 스킵은 선택된 ℓ 범위에 대해 B_ℓ 연산을 모두 건너뛰고 직전 블록 출력을 그대로 전파함으로써 블록 단위 계산을 줄인다.

ϕ*는 모델별 캘리브레이션 세트(120개 프롬프트)에서 속도향상과 LPIPS 유사도를 동시에 고려하는 이산 최적화 문제로 설정되고 dual annealing 기반 탐색을 200회 반복해 Pareto 프론티어를 구성한 뒤 실용적 제약을 만족하는 지점을 선택한다. 드래프트 풀 M개는 서로 다른 랜덤 시드를 사용해 샘플링되며 생성 중 캐시된 잠정 latent와 활성화를 저장해 이후 선택된 후보만 GPU로 복원해 정제를 수행한다.

검증 단계는 포인트와이즈 점수로 ρ1 비율까지 병렬로 걸러내고 엘로 점수로 시드를 부여한 뒤 인접 희소 쌍비교를 κ·M1 개 수행해 순위를 정교화하고 마지막으로 남은 M2 후보에 대해 완전 토너먼트 쌍비교를 수행하는 방식으로 설계되어 전체 검증 호출을 전수(pairwise) 방식보다 크게 줄인다. 이 과정에서 쌍비교 결과는 신뢰도(높음·중간·낮음)에 따라 K-팩터를 가중치로 조정해 등급 갱신에 반영한다.

선택된 드래프트는 마르코프 성질을 이용해 저장된 latent z_{t_{S'}}에서 표준(비가속) 설정으로 샘플링을 재개해 최종 이미지를 얻는다. 드래프트 생성 시 CPU로 offload해 메모리 부담을 줄이고 선택된 후보만 GPU로 가져오는 워크플로가 포함되어 벽시계 비용에 데이터 전송 오버헤드가 반영된다.

주요 결과

주요 벤치마크(GenAI-Bench, GenEval, UniGenBench)와 세 모델 스케일에서 벽시계 예산을 기준으로 평가한 결과 Flash-BoN이 모든 조합에서 기존 기법을 능가했다. 표준화된 지표인 AUC/Time으로 요약하면 Flash-BoN은 Wan2.1 14B와 FLUX.1-dev 같은 큰 모델에서 BoN 대비 최대 +8% AUC 향상을 기록해 스케일이 커질수록 이득이 커지는 경향을 보였다. BoN은 NFE 기준에서 BFS 등에 밀리는 경우가 있었으나 벽시계 예산에서는 탐색 폭을 넓힌 덕에 경쟁력을 유지했다.

드래프트 전략을 Reflection-Tuning에 결합하면 AUC가 0.46에서 0.62로 증가해 약 +16% 포인트 개선이 관찰되었고, Flash-BFS 적용 시에는 0.495에서 0.558로 소폭 개선되었다. 후보 풀의 다양성(Vendi Score)과 최종 성과는 Pearson r = 0.75의 강한 양적 상관관계를 보였으며, Flash-BoN이 높은 다양성 쪽에 위치해 성능 향상과 연결되었다. 정성적 비교에서도 복합적 구성 요구 프롬프트에서 Flash-BoN이 레이아웃 정합성과 구성 요소 포함 측면에서 우수한 결과를 산출하는 사례가 보고되었다.

검증기 선택과 평가 메트릭의 상호작용도 평가했는데, 검증기와 평가 지표가 동일할 때 대각선 상의 개선폭이 가장 크게 나타났다. 한편 동일 모델을 검증기와 평가기로 동시에 쓰면 해당 모델의 편향을 과최적화하는 실패 모드가 관찰되어 검증기와 평가기의 분리가 권고되었다. RL 후학습 실험에서는 Flash-BoN 기반 롤아웃 선택을 Flow-GRPO에 적용해 초기 60 스텝 내에서 기준선 성능에 도달함으로써 약 10배 빠른 수렴 효율을 보였고 최종적으로도 우위를 유지했다.

기술 상세

아키텍처 관점에서 드래프트 생성은 원본 확산 모델의 연산 그래프를 건드리지 않고 실행 경로만 근사하는 비파괴적 방식으로 설계되어, 저장된 latent와 활성화를 사용해 정밀 연산으로 이어갈 수 있다. 활성화 프록시는 t_{i+1}, t_{i+2}, t_{i+3}에서의 캐시된 활성값으로부터 시간 미분을 근사해 2차 테일러 전개로 h̃_{t_i}^{(ℓ)}를 계산하며 이 근사치는 실제 블록 전방연산을 완전히 대체한다. 레이어 스킵은 특정 연속 블록 구간 ℓ_start..ℓ_end를 지정해 해당 블록의 출력 대신 직전 블록 출력을 전파하는 방식으로 구현된다.

구성(ϕ)의 탐색은 캘리브레이션 세트 120프롬프트에서 LPIPS 유사도와 wall-clock 속도향상을 목표로 하는 이산 최적화 문제로 정의되며 dual annealing 최적화 기법을 200 반복 적용해 Pareto 프론티어를 구축했다. Pareto 상의 해들 중 유사도 제약을 만족하는 지점을 실용해 선택해 모델별 ϕ*를 고정한다. 이 사전 최적화 단계는 프롬프트별 튜닝 비용을 제거하고 드래프트 품질의 일관성을 확보하는 핵심 절차다.

다단계 검증에서 포인트와이즈 평가는 병렬 실행 가능성이 있어 전체 후보 M에 대해 빠르게 점수를 부여하고 엘로 시드 r_j^{(0)} = 1500 + (s_j - 5)·100 방식으로 초기 등급을 부여한다. 이후 인접 희소 쌍비교를 κ·M1 개 수행할 때 각 쌍에 대해 검증기가 반환하는 신뢰도(높음·중간·낮음)를 K-팩터에 1.2/1.0/0.7으로 반영해 등급 업데이트의 가중치를 조절한다. 최종적으로 작은 M2 집합에 대해 모든 쌍비교를 수행해 확률적 노이즈로부터의 안정성을 확보한다.

실험 인프라는 H200 GPU를 사용해 생성·검증·정제·데이터 전송을 포함한 종단간 벽시계 시간을 측정했고 CPU 오프로딩을 통해 드래프트 캐시 관리를 운영했다. 검증기와 평가지표를 동일 모델로 겹쳐 쓰면 메트릭 특이적 편향을 과최적화할 위험이 커서 실제 평가는 분리된 평가 모델 또는 프로그램적 체크커를 이용해 수행했다.

한계점

논문은 드래프트-정제 전략이 텍스트-투-비디오로 확장될 때 시간적 일관성을 유지하는 정책 설계와 드래프트 품질을 전제한 전용 검증기 학습이 필요하다고 명시했다. 검증기의 편향성 문제로 동일 모델을 검증기·평가기로 동시에 사용할 경우 편향이 과최적화로 이어지는 실패 모드가 관측되어 검증기 선택에 주의가 필요하다. 또한 드래프트 품질 보장을 위한 모델별 ϕ* 탐색이 캘리브레이션 세트에 의존하므로 해당 세트의 대표성이 낮으면 전이 성능이 저하될 가능성이 있음이 언급되었다.

실무 활용

Wall-clock 제약이 엄격한 서비스 환경에서 Flash-BoN은 드래프트-선택-정제 파이프라인을 통해 동일 예산으로 더 다양한 후보를 생성하고 최종 품질을 향상시킬 수 있다. 모델별로 한 번만 구성 파라미터를 최적화하면 프롬프트별 튜닝 없이도 적용 가능해 운영 비용과 복잡도를 낮춘다. 또한 기존 추론-스케일링 기법과 모듈식으로 결합해 주기당 비용을 낮춘 채 더 많은 반복을 허용한다.

이미지 생성 서비스에서 지연 제한(예: 300초) 내에 고품질 이미지를 생산하기 위한 후보 탐색 확장
검증 비용이 높은 대형 VLM을 사용하는 환경에서 검증 호출을 최소화해 처리량을 높이는 배치 파이프라인
RL 기반 후학습의 샘플 효율 개선을 위해 드래프트 풀에서 상위·하위 예시를 선택해 정책 업데이트에 활용
기존 피드백 루프(Reflection-Tuning 등)의 사이클 비용을 낮춰 더 많은 반복을 수행하도록 하는 프롬프트 최적화

코드 공개 여부: 공개

코드 저장소 보기

키워드

Flash-BoN(드래프트-선택-정제)timestep truncation(타임스텝 절단)activation proxies(활성화 프록시)layer skipping(레이어 스킵)Vendi Score(후보 다양성 지표)Elo ranking(엘로 기반 순위화)

용어 해설

타임스텝 절단(Timestep Truncation): — 확산 샘플링에서 전체 denoising 루프를 끝까지 돌리지 않고 초기 일부 타임스텝까지만 실행해 미리보기를 생성하는 기법으로, 계산 비용을 줄이면서 후보군을 다수 확보하는 데 사용된다.
활성화 프록시(Activation Proxies): — 이전 타임스텝에서 캐시한 레이어 활성값과 그 시점간 차분을 이용해 테일러 전개로 다음 타임스텝 활성화를 근사하는 기법으로, 완전한 레이어 전방탐색을 건너뛰어 단일 스텝 비용을 크게 낮춘다.
레이어 스킵(Layer Skipping): — 특정 블록의 출력을 이전 블록의 출력으로 대체해 해당 블록의 계산을 생략하는 방식으로, 모델 구조 상 반복되는 계산을 줄여 타임스텝당 처리 비용을 낮추는 방법이다.
Vendi Score: — DINOv2 특징 기반 유사도 행렬의 고유값 분포에서 유추한 다양성 지표로, 후보 풀의 이미지들이 서로 얼마나 다른지를 정량화해 탐색의 폭을 평가한다.
엘로 등급화(Elo Ranking): — 초기 점수 시드를 기반으로 희소한 쌍별 비교 결과를 누적해 후보들의 상대적 순위를 갱신하는 방식으로, 비용 절감 상황에서도 쌍별 비교의 정보만을 효율적으로 통합할 수 있다.

Flash-BoN: 확산 모델 추론 시벽시계 예산을 확장하는 드래프트-선택-정제 파이프라인

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

병리 AI를 대규모 연구에 맞게 경량화한 Flash 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

병리 AI를 대규모 연구에 맞게 경량화한 Flash 모델