PhotoFlow: 에이전트식 3D 가상 사진 촬영 임무를 위한 시스템

언어로 제시된 촬영 의도와 3D 장면의 공간구조를 동시에 고려해 실행 가능한 카메라 상태를 찾는 것이 핵심 도전이다. PhotoFlow는 Director-Reviewer-Reflector 아키텍처로 다중 후보 제안, 프리뷰 평가, 피드백 기반 탐색을 유기적으로 연결하며, Blender 씬에서의 실행 가능한 촬영 상태를 생성한다. 141개 미션의 VPhotoBench 벤치마크에서 외부 품질정렬 지표(Mqs) 기준으로 기존 baselines를 상회하는 성능과 더불어, 한정된 렌더링 예산(T=6 라운드) 내에서 효율적인 탐색과 실패 회피를 입증한다.

출발점과 한계: 3D 장면에서 언어 지시를 충족하는 실행 가능한 카메라 상태를 찾으려면 3D 레이아웃 이해와 촬영 미학을 함께 다룰 수 있어야 한다. 기존 연구는 공간 관계나 aesthetic 평가를 개별적으로 다루거나 이미지 생성에 집중하는 경향이 있어, 언어-조건의 연속적 카메라 탐색이라는 과제를 포괄적으로 해결하기 어렵다. 해결 원리: PhotoFlow는 soft blueprint를 통해 언어 프롬프트를 공간 우선의 선호로 매핑하고, Director가 글로벌 앵커와 region memory를 통해 후보를 구성한다. Reviewer는 계산된 이전 렌더링 프리뷰를 바탕으로 6개의 지표(m1~m6)로 점수를 매기고, Reflector는 라운드별 피드백을 region memory와 dead-zone에 반영해 다음 라운드의 seed를 재조정한다. 마지막으로 Anchor Bank와 geometry probe를 조합한 forced high-explore Lane으로 지역 최적화가 어려운 경우에도 전역 탐색을 강화한다. 달라지는 점: 6-DoF 카메라 상태의 최적화를 위해 연속적 탐색 구조를 도입하고, 언어-시각 모델의 한계를 극복하기 위해 region-based memory와 cross-round reflection으로 탐색 bias를 보정한다.

• 전체 흐름: S, x, u, A, E를 입력으로 받아 실행 가능한 카메라 상태 c=(p, ℓ, f, d, r)를 출력한다. 렌더링은 Blender를 외부 프로세스로 병렬 실행 가능하며, 초안 프리뷰의 수집과 평가를 통해 최종 incumbent를 결정한다. - 스카우팅/블루프린트: Blender에서 기하학적 요약, 텍스트적 토폴로지 요약, 글로벌 스카우트 뷰를 추출하고, 이를 바탕으로 soft blueprint를 생성한다. - Director: global anchor bank에서 카메라 seeds를 구성하고, region memory의 정보를 활용하여 후보 yj=(cj, ρj)을 생성한다. ρj은 해석용 짧은 rationale이다. - Reviewer: 렌더링 프리뷰의 4개 벤치마크 지표(m3~m6)와 2개의 규칙 기반 지표(m1, m2)로 각 후보를 평가하고, round_review를 통해 다음 전략을 제시한다. J(c) = 0.10m1 + 0.10m2 + 0.15m3 + 0.15m4 + 0.25m5 + 0.25m6로 내부 순위를 계산하고, incumbent를 비교해 교체 여부를 결정한다. - Reflector: region을 3차원 격자로 구획화하고 각 셀의 방문수, 최고 점수, 개선 여부를 기록한다. dead region은 forbidden zone으로 전환되고, promising region은 재활용된다. 강제 탐색 모드(s= s(a))를 도입해 잘못된 수렴을 방지한다. - Rendering/아웃풋: 후보 프리뷰를 Blender로 렌더링하고, 최종 샷은 선택된 비율의 해상도로 재렌더링한다. - 수식/수학적 근거: 외부 평가 지표 Mqs는 Miaa, Miqa, Mista의 가중합으로 정의되며, 각 가중치는 (ωa, ωq, ωs) = (0.40, 0.20, 0.40)이다. 내부 탐색의 합성점수(J(c))은 Eq.(3)와 같은 선형 결합으로 계산한다. - AB 테스트: Full PhotoFlow, w/o region memory, w/o high-explore 등의 ablation으로 구성요소의 효과를 근거 있게 비교한다.

메인 벤치마크 결과: 90개 공통 태스크에서 PhotoFlow의 Mqs은 0.578±0.120로 최고 수치를 기록했고 [email protected]는 0.622이다. 비교 대상은 Single-Step LLM(0.514±0.130), Anchor Bank Best-of-N(0.519±0.110), Random Search(0.527±0.124), Single-Chain Reflection(0.567±0.115)이다. 각 하위 지표에서도 PhotoFlow가 우수한 성과를 보였다: IAA 0.550, IQA 0.564, ISTA 0.614로 다른 baselines를 상회했다. 범주별 결과: Subject placement(0.578), Relational composition(0.582), Atmosphere/style(0.574)에서 PhotoFlow가 모두 최상위에 근접하였다. Ablation: w/o region memory는 Mqs 0.572, [email protected] 0.544로 하락했고, w/o high-explore는 Mqs 0.584, [email protected] 0.611로 비교적 높은 성능을 유지하나 커버리지 감소 및 collapse 증가를 보였다. 인간 일관성 연구에서 PhotoFlow는 미학(selection) 및 정합(selection)에서 가장 높은 선택 비율을 기록했고 MOS에서도 강한 상관을 보였다(MOS-PhotoFlow mean 3.208; 상관 Pearson 0.827, Spearman 0.697). 한계로는 인간 평가의 주관성, 벤치마크의 일반화 한계, 렌더링 시간의 변동성 등이 지적되었다.

아키텍처: Director-Reviewer-Reflector 흐름으로, 입력 S, x, u, A, E를 받아 실행 가능한 카메라 상태를 출력한다. 핵심 모듈: (i) 스카우팅/블루프린트에서 three kinds of inputs(geometric scene summary, textual topology summary, global scout views)를 추출해 soft blueprint를 구성한다. (ii) Director는 global anchor bank에서 seeds를 구성하고 region memory를 통해 후보를 보강한다. (iii) Reviewer는 m1, m2의 규칙 기반 지표와 m3~m6의 VLM 점수로 J(c)를 계산하고, round_review 및 next_strategy를 출력한다. (iv) Reflector는 region discretization(h= max(0.12 sceneScale, 0.9))과 dead/promising 상태를 관리하고, forced high-explore lane으로 탐색 다변성을 유지한다. (v) Rendering은 Blender를 외부 프로세스로 병렬 렌더링하되, 프리뷰와 최종 렌더링 설정을 분리한다. 수식: Mqs = 0.4·Miaa + 0.2·Miqa + 0.4·Mista; J(c) = 0.10m1 + 0.10m2 + 0.15m3 + 0.15m4 + 0.25m5 + 0.25m6. anchor 기반 초기 탐색과 region memory의 상호 작용으로 지역-전역 탐색의 균형을 달성한다. 한계: anchor bank의 탐색 커버리지에 의존하고, Reviewer의 내부 점수는 최종 평가의 대체가 아니다. 구현 세부는 Blender/프롬프트 템플릿/스키마/Evaluation 스크립트를 공개할 예정이다.

제시된 한계로 anchor bank의 커버리지 의존성, Reviewer 내부 점수의 한계, 141-task의 일반화 가능성, 렌더링 시간 편차에 따른 재현성 이슈 등이 있다. 본 연구는 물리적 로봇이나 시간에 민감한 동적 씬으로의 일반화를 보장하지 않으며, threshold 조정이나 보다 강한 PBO/기하계 플래너 기반 Baseline의 비교는 추가 연구가 필요하다.