ShutterMuse: 촬영 시점 사진 안내를 위한 MLLM 기반 프레임·포즈 가이드

실시간 촬영 환경에서는 단순한 사후 크롭 예측만으로는 충분하지 않으며, 사진가 쪽의 'keep/refine/reject' 결정과 피사체 쪽의 장면 조건화된 포즈 제시가 모두 필요하다. CaptureGuide-Dataset(약 130K 샘플)과 ShutterMuse는 촬영 시점에 활용 가능한 구조화된 지침 생성 가능성을 실증했다.

문제 출발점과 기존 한계: 촬영 시점 가이드는 단순한 사후 크롭 예측과 다르다. 기존 aesthetic cropping은 주로 포스트프로세싱 용도로 하나의 ‘더 나은’ 박스를 예측하는 문제로 정의되어, 이미지가 이미 최적 구도인 경우의 판단(keep)이나 완전한 폐기(reject), 피사체 측의 장면 기반 포즈 권고까지 포괄하지 못했다. 또한 일반 MLLM은 의사결정(keep/refine/reject)은 수행하나 정밀한 박스 로컬라이제이션이 약하고, 전용 크롭 모델은 박스 예측은 잘하나 의사결정 분류나 텍스트 근거 생성이 제한적이었다.

전체 접근과 핵심 아이디어: ShutterMuse는 하나의 MLLM(Qwen3-VL-8B 초기화)을 기반으로 입력 이미지·프롬프트 쌍(q=(x,p))에 대해 구조화된 JSON 응답(y)을 생성하도록 SFT로 학습하고, 이후 GRPO 기반 RFT로 의사결정 정확도와 박스·visibility 품질을 보상으로 최적화한다. 사진가 측(task_type=composition) 응답은 task_type, reason, composition_xy 필드를 포함하며 composition_xy는 [0,0,1,1]=keep, 빈값=reject, [x1,y1,x2,y2]=refine로 표준화된다.

메인 벤치마크 결과: CaptureGuide-Bench의 photographer-side 평가에서 ShutterMuse는 비교 대상 MLLM 및 특화 크롭 모델 대비 전체적인 photographer-side 성능에서 최고 성능을 기록했다(논문 본문 및 표의 수치 참조). subject-side 평가는 물리적 타당성·장면 상호작용·미학 3개 축의 평균 점수로 측정되며, ShutterMuse는 비교 모델 대비 경쟁력 있는 결과를 보였고 평균 토큰 수와 추론 시간 측면에서 효율적이었다.

아키텍처 개요: 모델은 Qwen3-VL-8B를 초기화한 MLLM으로, 이미지-프롬프트 입력(q=(x,p))에 대해 JSON 형식의 구조화된 응답을 직접 디코딩한다. 출력 스키마는 photographer-side와 subject-side를 분리해 각각 composition_xy(정규화 박스/keep/reject)와 keypoints_xyn(17개 normalized coords)·visibility(17-dim {-1,0,1})를 포함한다.

논문에서 명시한 한계: 일반 목적의 MLLM은 composition 결정은 수행하나 정밀한 보정 박스 로컬라이제이션이 부족하며, 기존 특화 크롭 모델은 박스 예측은 우수하나 keep/reject 분류 및 텍스트 근거 제공이 제한된다. 또한 subject-side 포즈 평가는 다수의 합리적 해답을 가지기 때문에 단일 기하학적 기준으로 완전하게 검증하기 어렵다는 점이 벤치마크 설계의 제약으로 남아 있다.