AnyBokeh: 광학 지문 전이와 이중 CoC 조건화로 구현한 임의-대-임의 보케 편집

왜 중요한가

사진 후처리에서 깊이-의존 블러를 임의의 초점과 조리개로 제어하는 작업은 입력이 이미 부분적으로 흐려져 있거나 촬영 메타데이터가 없을 때 특히 어려웠다. AnyBokeh는 소스 이미지에 남아 있는 블러를 단순한 열화로 보지 않고 소스별 CoC–시차 기울기라는 광학 지문으로 추출하여 목표 설정으로 안전하게 전이함으로써 보케 편집의 제어성과 현실감을 동시에 확보했다. 이 접근은 전통적 all-in-focus 복원에 의존하지 않으므로 복원 오류가 최종 결과로 전파되는 문제와 테스트 시 보케 레벨 캘리브레이션 필요성을 제거한다.

핵심 기여

CoC-중개 광학 지문 전이 프레임워크를 제안함

AnyBokeh는 입력에서 서명된 CoC 맵과 시차 맵을 공동 예측하고, 이들로부터 이미지-단위의 CoC–시차 기울기 κsrc를 추정하여 광학 지문으로 정의했다. 이 κsrc는 조리개·초점·센서·해상도 같은 전역 인자를 흡수하므로 대상 초점·조리개로 스케일링하여 목표 CoC를 분석적으로 계산할 수 있다. 결과적으로 per-image 캘리브레이션이 필요 없고 소스 블러와 일관된 목표 블러 스케일이 보장된다.

이중 CoC 조건화로 상대적 블러 합성 문제로 환원함

최종 생성 편집기는 소스 이미지, 소스 CoC, 목표 CoC를 동시에 입력으로 받아 각 픽에 대해 보존·복원·재블러링을 상대적으로 판단한다. 이 구조는 단순 목표 CoC만 주는 방식과 달리 소스에 이미 존재하는 블러 상태를 명시적으로 반영하므로 심하게 흐려진 영역에서의 오해 및 과도한 가상 세부 삽입을 줄인다. 생성 편집기는 FLUX.1-Fill-dev 백본을 LoRA(rank=32)로 미세조정한 구조를 사용하여 고해상도 타일 병합도 지원한다.

물리적으로 감독된 UnrealBokeh 합성 데이터셋을 구축함

UnrealBokeh는 Unreal Engine을 이용해 장면 깊이, 초점 거리, 조리개, 초점 거리, 센서 크기, 해상도 등 모든 EXIF 정보를 기록하면서 렌더링한 11,477장과 382,888개의 편집 쌍으로 구성된다. 각 렌더링에서 밀집한 서명 CoC 맵을 얇은 렌즈 모델로 계산하여 Stage1의 물리적 감독을 가능하게 했다. 환경-카메라 그룹 단위로 분할해 학습·검증 누수를 방지했다.

핵심 아이디어 이해하기

문제 출발점은 단일 이미지에서 임의의 출처 블러 상태와 목표 광학 설정을 동시에 다뤄야 한다는 점이다. 기존 연구는 입력을 강제로 all-in-focus(AIF)로 복원한 후 목표 보케를 합성하거나 출처가 이미 AIF라고 가정했는데, 이 과정은 소스의 블러-특징을 소실시키고 심한 경우 복원 오류를 편집 결과로 전파한다. AnyBokeh는 소스 블러를 유용한 관측값으로 취급하고, 소스에서 서명된 CoC와 시차를 공동 추정하여 블러와 기하구조를 분리함으로써 이 문제에 접근한다.

방법론

전체 파이프라인은 세 단계로 구성된다. 첫째, Stage1에서 입력 이미지를 받아 서명된 소스 CoC 맵 CoC_src와 시차 맵 D를 전역 문맥에서 공동 예측한다. 둘째, 예측된 CoC_src와 D로부터 이미지 단위의 CoC–시차 기울기 κsrc를 회귀로 추정하고 사용자가 지정한 목표 초점 역거리 D^{tgt}{focus}와 조리개 비율 r_a로 목표 기울기 κ{tgt}=r_a·κsrc를 계산하여 목표 CoC CoC_{tgt}=κ_{tgt}(D^{tgt}{focus}-D)를 얻는다. 셋째, Stage2의 생성 편집기는 소스 이미지, CoC_src, CoC{tgt}의 이중 조건을 받아 상대적 블러 합성(보존·복원·재블러링)을 수행한다.

주요 결과

AnyBokeh은 any-to-any 보케 편집에서 기존의 deblur-then-render 계열과 비교해 모든 지표에서 우수한 성능을 보였다. EBB! 데이터셋의 any-to-any 평가에서 AnyBokeh는 LPIPS 0.4010, DISTS 0.1426, FID 24.6042를 기록하여 Restormer+BokehMe 등 복합 파이프라인 대비 개선을 달성했다. RealBokeh의 동일 실험에서도 LPIPS 0.3033, DISTS 0.0944, FID 33.6655로 양호한 결과를 보였고, 특히 DISTS와 FID처럼 지각적 구조·분포 유사성 지표에서 우위를 점했다.

기술 상세

CoC와 시차의 물리적 관계는 얇은 렌즈 모델에서 도출된 선형 근사로 표현된다: CoC^{px}=κ·(D_{focus}-D). 여기서 CoC^{px}는 이미지 픽 단위의 서명된 CoC, D는 장면점의 역거리(시차), D_{focus}는 초점의 역거리, κ는 초점·조리개·센서·해상도 요인을 흡수한 스칼라이다. 계산 흐름은 입력 이미지에서 CoC_src와 D를 예측한 뒤 CoC_src=κsrc·(D^{src}{focus}-D) 관계를 이용해 κsrc를 회귀로 추정하고 사용자가 지정한 목표 f-number 비율 r_a와 목표 초점 D^{tgt}{focus}를 적용해 κ_{tgt}=r_a·κsrc를 얻어 목표 CoC를 산출하는 방식이다. 예시로 κsrc=2.0 픽, D^{tgt}{focus}-D=0.05이면 CoC{tgt}=0.1 픽으로 계산되어 적은 수준의 재블러링 방향으로 신호가 전달된다.

한계점

입력에 너무 심한 소스 블러가 존재하면 고주파 정보가 소실되어 완전한 샤프니스 복구가 불가능하며, 이 경우 AnyBokeh도 제한된 복원 성능을 보인다. 매우 큰 보케 볼을 급격히 축소해야 하는 경우 잔류하거나 속이 빈 보케 아티팩트가 남을 수 있는데 이는 교육 데이터에서 극단적 보케 사례가 부족한 영향이 일부 있다. 고해상도 입력을 위해 타일링과 중첩 병합을 사용하므로 단일 패스 모델보다 런타임이 증가하는 실용적 제약이 존재한다.

실무 활용

AnyBokeh는 소스 이미지에 남은 흐림 단서를 활용해 테스트 시점 캘리브레이션을 요구하지 않고도 사용자가 지정한 초점·조리개 설정으로 보케를 조정할 수 있으므로 사진 편집 툴의 후처리 기능으로 실무 적용 가능성이 높다. 공개된 코드 저장소는 연구용 재현과 엔지니어링 포팅을 모두 지원할 수 있는 근거를 제공한다. 타일 기반 고해상도 처리와 사용자 지정 초점 입력을 지원하므로 실사용 워크플로에 적합하다.

스마트폰·사진 편집 앱에서 사용자가 촬영 후 원하는 초점 위치와 조리개 값을 지정해 보케를 실시간으로 조정하는 데 활용될 수 있다.
보케 제거(디포커스 복원)와 보케 합성(조리개 확대/축소)을 단일 모델로 처리해야 하는 사진 정제 파이프라인에서 아카이브 이미지의 시각적 품질 개선에 적용될 수 있다.
영화 후반 제작이나 광고 이미지 편집에서 특정 피사체를 강조하기 위해 초점 이동 및 보케 세기를 예측 가능한 방식으로 변경하는 자동화 도구로 사용될 수 있다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

bokeh editing(보케 편집)circle-of-confusion(CoC, 혼동원)disparity(시차·역거리)optical fingerprint(광학 지문)relative blur synthesis(상대 블러 합성)

용어 해설

혼동원(CoC)(Circle-of-Confusion (CoC)): — 렌즈 광학에서 초점면에서 벗어난 장면점이 이미지 평면에 맺힐 때 형성되는 원형의 블러 직경을 의미하며, 카메라의 초점 거리·조리개·피사계 거리·장면 깊이와 선형 관계를 이루어 이미지상 블러 강도를 규정한다.
시차(역거리)(Disparity): — 장면점의 역거리를 의미하는 표현으로 본문에서는 D=1/S2로 정의되어 CoC와 선형 관계를 맺는 기하학적 좌표 역할을 하며, 서로 다른 초점 설정 간 CoC 전이를 계산하는 기반이 된다.
광학 지문(Optical Fingerprint): — 입력 이미지에 내재한 CoC-대-시차 기울기 κsrc로 정의된 스칼라 값으로서 렌즈·센서·해상도·조리개에 의해 결정되는 CoC 스케일을 흡수하여 소스 장면의 광학 특성을 표상한다.
이중 CoC 조건화(Dual-CoC Conditioning): — 편집기에게 소스 CoC와 목표 CoC를 동시에 입력으로 제공하여 각 픽에 대해 블러를 보존할지 제거할지 또는 재합성할지를 상대적으로 결정하도록 하는 조건화 전략이다.

AnyBokeh: 광학 지문 전이와 이중 CoC 조건화로 구현한 임의-대-임의 보케 편집

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

카메라 궤적을 따르는 영상 생성법 SCoPE

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

카메라 궤적을 따르는 영상 생성법 SCoPE