AnyBokeh: 광학 지문 전이와 이중 CoC 조건화로 구현한 임의-대-임의 보케 편집

사진 후처리에서 깊이-의존 블러를 임의의 초점과 조리개로 제어하는 작업은 입력이 이미 부분적으로 흐려져 있거나 촬영 메타데이터가 없을 때 특히 어려웠다. AnyBokeh는 소스 이미지에 남아 있는 블러를 단순한 열화로 보지 않고 소스별 CoC–시차 기울기라는 광학 지문으로 추출하여 목표 설정으로 안전하게 전이함으로써 보케 편집의 제어성과 현실감을 동시에 확보했다. 이 접근은 전통적 all-in-focus 복원에 의존하지 않으므로 복원 오류가 최종 결과로 전파되는 문제와 테스트 시 보케 레벨 캘리브레이션 필요성을 제거한다.

문제 출발점은 단일 이미지에서 임의의 출처 블러 상태와 목표 광학 설정을 동시에 다뤄야 한다는 점이다. 기존 연구는 입력을 강제로 all-in-focus(AIF)로 복원한 후 목표 보케를 합성하거나 출처가 이미 AIF라고 가정했는데, 이 과정은 소스의 블러-특징을 소실시키고 심한 경우 복원 오류를 편집 결과로 전파한다. AnyBokeh는 소스 블러를 유용한 관측값으로 취급하고, 소스에서 서명된 CoC와 시차를 공동 추정하여 블러와 기하구조를 분리함으로써 이 문제에 접근한다.

전체 파이프라인은 세 단계로 구성된다. 첫째, Stage1에서 입력 이미지를 받아 서명된 소스 CoC 맵 CoC_src와 시차 맵 D를 전역 문맥에서 공동 예측한다. 둘째, 예측된 CoC_src와 D로부터 이미지 단위의 CoC–시차 기울기 κsrc를 회귀로 추정하고 사용자가 지정한 목표 초점 역거리 D^{tgt}{focus}와 조리개 비율 r_a로 목표 기울기 κ{tgt}=r_a·κsrc를 계산하여 목표 CoC CoC_{tgt}=κ_{tgt}(D^{tgt}{focus}-D)를 얻는다. 셋째, Stage2의 생성 편집기는 소스 이미지, CoC_src, CoC{tgt}의 이중 조건을 받아 상대적 블러 합성(보존·복원·재블러링)을 수행한다.

AnyBokeh은 any-to-any 보케 편집에서 기존의 deblur-then-render 계열과 비교해 모든 지표에서 우수한 성능을 보였다. EBB! 데이터셋의 any-to-any 평가에서 AnyBokeh는 LPIPS 0.4010, DISTS 0.1426, FID 24.6042를 기록하여 Restormer+BokehMe 등 복합 파이프라인 대비 개선을 달성했다. RealBokeh의 동일 실험에서도 LPIPS 0.3033, DISTS 0.0944, FID 33.6655로 양호한 결과를 보였고, 특히 DISTS와 FID처럼 지각적 구조·분포 유사성 지표에서 우위를 점했다.

CoC와 시차의 물리적 관계는 얇은 렌즈 모델에서 도출된 선형 근사로 표현된다: CoC^{px}=κ·(D_{focus}-D). 여기서 CoC^{px}는 이미지 픽 단위의 서명된 CoC, D는 장면점의 역거리(시차), D_{focus}는 초점의 역거리, κ는 초점·조리개·센서·해상도 요인을 흡수한 스칼라이다. 계산 흐름은 입력 이미지에서 CoC_src와 D를 예측한 뒤 CoC_src=κsrc·(D^{src}{focus}-D) 관계를 이용해 κsrc를 회귀로 추정하고 사용자가 지정한 목표 f-number 비율 r_a와 목표 초점 D^{tgt}{focus}를 적용해 κ_{tgt}=r_a·κsrc를 얻어 목표 CoC를 산출하는 방식이다. 예시로 κsrc=2.0 픽, D^{tgt}{focus}-D=0.05이면 CoC{tgt}=0.1 픽으로 계산되어 적은 수준의 재블러링 방향으로 신호가 전달된다.

입력에 너무 심한 소스 블러가 존재하면 고주파 정보가 소실되어 완전한 샤프니스 복구가 불가능하며, 이 경우 AnyBokeh도 제한된 복원 성능을 보인다. 매우 큰 보케 볼을 급격히 축소해야 하는 경우 잔류하거나 속이 빈 보케 아티팩트가 남을 수 있는데 이는 교육 데이터에서 극단적 보케 사례가 부족한 영향이 일부 있다. 고해상도 입력을 위해 타일링과 중첩 병합을 사용하므로 단일 패스 모델보다 런타임이 증가하는 실용적 제약이 존재한다.