저중첩 카메라 촬영에서의 4D 인간-장면 재구성: StudioRecon

현장 환경에서는 카메라 수가 적고 시야 중첩이 작아 기존의 고품질 4D 캡처 방식이 실용적이지 않다. StudioRecon은 배경과 인간을 서로 다른 우선순위로 분리해 각 구성요소에 적합한 사전 지식을 적용함으로써 소수 카메라 입력으로도 일관된 고해상도 시점 합성을 실현한다. 이로 인해 가상 제작, 스포츠 중계, 원격 촬영 같은 실제 적용 환경에서 장비 요구를 크게 낮추면서도 시각 품질을 확보할 수 있다.

저중첩 카메라 설정에서는 관찰 가능한 표면 비율이 낮아 단일 표현으로 배경과 인간을 동시에 최적화하면 관측이 부족한 영역에서 오류가 서로 섞여 결과가 악화된다. 배경은 넓은 정적 공간을 채워야 하므로 대규모 데이터로 학습된 비디오 디퓨전의 의미론적 사전이 부족한 시점의 합성에 유리하다. 반면 인간은 해부학적 제약과 관절 단위의 강한 구조적 prior가 필요하므로 SMPL 같은 파라메트릭 바디 모델이 드문 관측에서 기하학적 안정성을 제공한다.

전체 파이프라인은 네 단계로 구성되며 각 단계는 서로 다른 감독 신호를 활용한다. 첫 단계에서는 입력 카메라들 간의 경로를 SLERP로 보간해 목표 포즈들을 만들고 비디오 디퓨전 모델에 첫 프레임 영상과 깊이 및 목표 포즈를 입력해 수백 개의 합성 시점을 생성한다. 두 번째 단계에서는 각 뷰에서 단안 SMPL 및 2D 키포인트를 추출하고, 골반의 3D 역투영을 통해 공간 좌표를 얻어 공간 거리와 자세 차이를 결합한 친화도로 교차-뷰 정체성을 매칭한다.

정량 결과에서 제시된 표는 모든 비교 대상 방법보다 일관되게 우수한 PSNR과 SSIM, 특히 LPIPS에서 큰 개선을 보였다. 예를 들어 Legoassemble 장면에서 Dyn-3DGS의 LPIPS 0.594가 StudioRecon에서는 0.251로 감소했고 PSNR은 15.32에서 18.58으로 상승했다. 파이프라인 성분별 절단 실험에서는 비디오 기반의 밀도화(ViewSynth)가 PSNR을 약 +2.4 dB만큼 끌어올렸고 LPIPS는 36% 수준으로 낮아져 희소 뷰 문제 완화에 결정적 역할을 했다.

입력은 N개의 동기화된 카메라 영상으로 정의되고 먼저 첫 프레임에 대해 피드포워드 3D 재구성 모델로 점군과 깊이, 카메라 포즈를 얻어 모든 시점에 공유한다. 배경 최적화는 합성된 L개의 novel view와 해당 인간 마스크를 사용해 t=1에서 가우시안 속성(색상, 불투명도 등)을 최적화하며 손실로는 L1, SSIM, LPIPS와 밀도 정규화 항을 사용했다. 마스크 영역은 학습 중 제거해 인간 오염을 방지했고 원래 카메라에 가까운 시점에는 각도 기반 코사인 가중치를 부여해 관측 신뢰도를 반영했다.

세부 표현에서 얼굴과 손처럼 고주파 특성은 저중첩 입력으로 완벽히 복원하기 어렵다. SMPL 기반 표현은 손에 든 물체나 동적 소도구를 모델링하지 않아 공중에 떠있거나 사라지는 현상이 발생할 수 있다. t=0에 고정된 배경에 굽힌 그림자 같은 정적 그림자는 시간에 따라 인간의 이동을 따라가지 못하는 한계가 존재한다.