단일 영상으로 여러 시점의 4D 사람 복원

왜 중요한가

단일 영상에서 임의 시점으로 렌더링할 수 있는 사람의 4D 표현을 만들려면 보이지 않는 신체 영역까지 포함한 다중 시점 영상이 필요합니다. 4DAnyone은 3D skeleton 조건과 두 가지 context 관리 방식을 결합해 16개 목표 시점의 영상을 생성하고, 이를 4D Gaussian Splatting으로 연결합니다. DNA-Rendering과 DyMVHumans에서 기존 방법보다 생성 영상과 후속 4DGS 복원 지표가 모두 높게 나타나 단일 카메라 입력을 다중 카메라 기반 복원 과정에 연결하는 경로를 마련했습니다.

핵심 기여

단안 영상 기반 4D 사람 복원 프레임워크

4DAnyone은 카메라 내부 파라미터와 pose를 알 수 없는 monocular video에서 3D skeleton을 추정합니다. 지정된 여러 시점의 human video를 생성한 뒤 FreeTimeGS로 4D Gaussian Splatting 표현을 학습합니다. 이 처리 흐름은 고정된 다중 카메라 배열 없이도 4D human reconstruction을 수행하도록 구성됐습니다.

Reference Context Packing으로 참조 정보 압축

생성된 참조 시점을 그대로 누적하면 DiT의 reference context 길이와 계산량이 시점 수에 따라 O(N)으로 증가합니다. Reference Context Packing은 compression ratio r=2와 r=4의 multi-scale patchify로 참조 영상을 고정된 token slot에 넣어 reference-context 복잡도를 O(1)로 유지합니다. 낮은 해상도 토큰에는 넓은 시점 정보를, 높은 해상도 토큰에는 세부 외관 정보를 배치해 이후 목표 시점 생성에 참조 신호를 공급합니다.

Target Context Routing으로 시점 그룹 간 구조 공유

목표 시점을 독립적인 네 시점 그룹으로 나누면 그룹 사이에 직접적인 attention이 없어 전역 신체 구조가 서로 달라질 수 있습니다. Target Context Routing은 고노이즈 단계에서 그룹 구성을 순환시키고 저노이즈 단계에서 인접 그룹을 고정해 구조 전파와 세부 정제를 분리합니다. 실험의 ablation에서 TCR을 제거하면 PSNR, SSIM, LPIPS가 모두 악화됐고 Sliding routing은 PSNR 22.63, SSIM 0.796, LPIPS 0.191을 기록했습니다.

희소한 3D skeleton 기반 시점 제어

단일 영상에서 신뢰성 있게 추정하기 어려운 dense metric depth 대신 3D skeleton을 기하학적 조건으로 사용합니다. skeleton을 pixelwise z-buffer로 렌더링해 앞쪽 신체 부위가 뒤쪽 부위를 가리도록 만들고, 그 결과를 skeleton encoder를 통해 noisy latent에 residual로 더합니다. 308개 Goliath keypoint 중 40개를 선택해 신체, 발, 손, 목과 관절 구조를 유지하고 얼굴과 손가락 세부 표현은 source-video reference에서 학습합니다.

핵심 아이디어 이해하기

기존 4D human reconstruction은 움직이는 사람을 여러 카메라로 촬영한 조밀한 영상에 의존하지만, 4DGS에 필요한 시점 수를 단일 Video Diffusion Model이 한 번에 처리하기에는 GPU memory와 연산량이 제한됩니다. 그래서 목표 시점을 여러 그룹으로 나누면 각 그룹이 볼 수 있는 attention context가 달라지고, 참조 영상은 시점 수에 따라 O(N)으로 늘어나며 그룹 사이에는 구조 정보가 오가지 않습니다. 이 두 병목이 보이지 않는 등과 옆면의 외관 불일치와 그룹별 신체 구조 drift를 만듭니다.

4DAnyone은 먼저 source video에서 GVHMR로 3D skeleton sequence를 추정하고, 각 목표 카메라에 depth-buffered skeleton video를 렌더링합니다. noisy target latent zᵢᵗ에 skeleton encoder 출력 gϕ(Sᵢ)를 더해 신체 구조 조건을 주입하고, DiT가 source token, 참조 token, skeleton-conditioned target token을 함께 denoise합니다. 2D skeleton은 앞뒤 신체 부위가 같은 모습으로 투영될 수 있지만 z-buffer는 깊이에 따른 가림을 보존하므로 서로 다른 시점에서 동일한 구조를 유지하는 데 필요한 신호가 남습니다.

참조 영상은 가까운 시점끼리 외관 정보가 중복되므로 모든 영상을 원래 해상도로 붙이지 않고 RCP의 multi-scale patchify를 거칩니다. source video는 r=1로 유지하고 일부 참조 영상은 r=2와 r=4로 압축해 고정된 token slot에 넣으므로 참조 context의 크기가 누적 시점 수에 따라 커지지 않습니다. 추론에서는 먼저 두 라운드에 걸쳐 각각 네 개의 reference video를 만들고, farthest-point sampling으로 시점 간 각도 간격을 크게 확보한 뒤 목표 시점 생성에 재사용합니다.

TCR은 같은 네 시점 그룹을 모든 denoising 단계에서 유지하지 않습니다. 고노이즈 단계에서는 denoising step마다 시점 인덱스를 순환 이동해 서로 다른 시점이 같은 그룹에서 attention하도록 만들고, 저노이즈 단계에서는 인접한 네 시점 그룹을 고정해 세부 외관과 시점 전환을 안정화합니다. 20 denoising steps와 tₛ/T=0.2 설정에서 이 방식은 그룹별 memory budget을 늘리지 않고 전역 구조와 국소 세부 정보를 차례로 공유합니다.

방법론

입력은 카메라 내부 파라미터와 pose를 알 수 없는 monocular source video Vsrc입니다. HMR 모델이 프레임별 3D skeleton을 추정하고 이를 목표 시점별 depth-buffered skeleton video로 변환한 뒤, 3D-aware skeleton encoder가 DiT 해상도의 residual token을 noisy latent에 더합니다. DiT는 source video token, RCP reference token, 목표 시점 token을 view dimension으로 결합해 video attention, multiview attention, text cross-attention을 수행하며, 최종 생성 영상은 FreeTimeGS 입력으로 사용됩니다.

RCP의 고정 context는 source video와 두 단계로 생성한 reference video로 구성됩니다. 표준 Wan2.2 patchify의 kernel과 stride가 (1,2,2)인 반면 RCP는 (1,2r,2r)를 사용해 r=2에서 token 수를 1/4, r=4에서 1/16 수준으로 줄이고, 생성된 참조 영상을 multi-scale token slot에 배치합니다. 학습 중에는 참조 context 일부를 확률 0.1로 zeroing해 reference가 부족한 progressive inference 상황에도 대응하도록 했습니다.

TCR은 전체 목표 시점 v개를 네 시점 그룹 m개로 나눕니다. 고노이즈 조건 t>tₛ에서는 각 단계의 인덱스에 따라 그룹을 순환 재배치하고, 저노이즈 조건 t≤tₛ에서는 인접 시점 그룹을 유지하며 각 그룹을 RCP context와 해당 skeleton 조건으로 공동 denoise합니다. 마지막 latent를 VAE로 decode해 목표 시점 영상을 얻고, 이 영상 전체로 4DGS를 학습합니다.

학습은 세 단계 curriculum으로 구성됩니다. Stage 1은 foreground-only DNA-Rendering 영상에서 skeleton-conditioned camera control을 학습하고, 20% 확률로 source와 target clip을 서로 다른 시간 구간에서 뽑아 pose와 외관을 분리합니다. Stage 2는 배경을 포함한 모든 multi-view dataset으로 확장해 mask 경계 잡음과 조명·그림자 단서 부족을 피하며, Stage 3은 monocular dataset을 추가하고 finger keypoint를 제거해 손 세부 정보를 source video에서 추론하도록 합니다.

주요 결과

DNA-Rendering에서 생성 영상 일관성은 PSNR 24.33, SSIM 0.862, LPIPS 0.163을 기록했고, 4DGS 복원은 PSNR 24.15, SSIM 0.863, LPIPS 0.159를 기록했습니다. DyMVHumans에서도 생성 영상 일관성은 PSNR 24.48, SSIM 0.862, LPIPS 0.109였으며 4DGS 복원은 PSNR 23.28, SSIM 0.846, LPIPS 0.117로 나타났습니다. 두 데이터셋과 세 평가 차원에서 모두 MV-Performer, TrajectoryCrafter, ReCamMaster보다 높은 수치입니다.

생성 영상과 4DGS 복원 사이의 차이는 다중 시점 구조 일관성이 후속 표현 학습에 직접 연결됨을 보여줍니다. MV-Performer는 정면 영상은 유지하지만 옆면과 뒷면에서 신체 형상이 변했고, TrajectoryCrafter는 depth 오차가 누적되며 앞뒤 시점 전환에서 실패했습니다. ReCamMaster는 영상 자체는 자연스럽지만 부정확한 camera control로 시점 정렬이 흔들렸고, 4DAnyone은 보이지 않는 뒷면 외관까지 source 입력과 일관되게 생성했습니다.

RCP와 TCR을 모두 제거한 설정은 PSNR 21.09, SSIM 0.766, LPIPS 0.216이었습니다. RCP만 제거하면 PSNR 22.03, SSIM 0.780, LPIPS 0.203이 되었고, TCR만 제거하면 PSNR 22.21, SSIM 0.788, LPIPS 0.196으로 전체 구성보다 낮았습니다. routing 방식 중 Random은 측정 가능한 개선이 없었고 Strided는 악화됐지만 Sliding은 세 지표를 모두 개선해 인접 시점 보존의 효과를 확인했습니다.

학습 데이터는 MVGameHuman 38k 영상, SynCamVideo 34k 영상, DNA-Rendering 51k 영상, TedTalk 42k 영상, Pexels 20k 영상으로 구성됩니다. 평가에는 학습에 포함되지 않은 DNA-Rendering 10개 장면과 모든 방법에 out-of-distribution인 DyMVHumans 3개 장면을 사용했으며, 각 장면에서 약 16개 균일 시점과 98개 프레임을 평가했습니다. in-the-wild 영상과 뒷면 입력, 복잡한 외관, 복잡한 동작에서도 일관된 목표 시점 영상과 4DGS 결과를 얻었습니다.

기술 상세

4DAnyone은 Wan2.2-TI2V-5B 기반의 5B-parameter DiT video diffusion model로 구현됐습니다. 학습 해상도는 704 × 1280이고 learning rate는 1 × 10⁻⁵이며 128 H20-3E GPU에서 세 단계 curriculum을 수행했습니다. 추론은 20 denoising steps를 사용하고 목표 시점은 네 개씩 그룹화하며 TCR switching ratio는 tₛ/T=0.2입니다.

3D-aware skeleton conditioning은 308-keypoint Goliath vocabulary에서 40개 keypoint를 선택합니다. 구성은 17개 body keypoint, 6개 foot keypoint, 양손의 10개 palm-level knuckle keypoint, 목·어깨·팔꿈치의 7개 auxiliary landmark이며 238개 facial keypoint와 30개 finger joint는 제외합니다. depth-buffered rendering은 각 픽셀에서 깊이가 가까운 skeleton 부분을 남겨 2D skeleton의 앞뒤 pose ambiguity를 제거하고, encoder의 마지막 projection layer는 zero-initialized로 설정해 pretrained DiT에서 안정적으로 학습을 시작합니다.

RCP context는 $\mathcal{C}_{\text{R}}=[\mathcal{P}_{1}(\mathbf{V}_{\text{src}}),\{\mathcal{P}_{2}(\mathbf{V}_{a_{j}})\}_{j=1}^{3},\{\mathcal{P}_{4}(\mathbf{V}_{b_{j}})\}_{j=1}^{4}]$ 로 구성됩니다. 여기서 Vsrc는 source video이고, Va와 Vb는 서로 다른 해상도로 압축된 reference video이며, P1·P2·P4는 각각 압축 비율을 적용하는 patchify 연산입니다. r=2이면 표준 patchify 대비 token 수가 1/4이 되고 r=4이면 1/16이 되어, 여러 참조 영상을 고정된 context budget 안에 넣습니다.

Skeleton residual은 $\tilde{\mathbf{z}}^{t}_{i}=\mathbf{z}^{t}_{i}+g_{\phi}(\mathbf{S}_{i})$ 로 계산합니다. ziᵗ는 timestep t에서 목표 시점 i의 noisy latent token이고, Si는 같은 시점의 depth-buffered skeleton video이며, gϕ는 skeleton encoder입니다. 입력 latent와 skeleton residual을 더한 출력이 DiT에 들어가므로 denoising 과정이 목표 카메라의 신체 구조 조건을 직접 반영합니다.

전체 학습 손실은 $\mathcal{L}=\mathcal{L}_{\text{latent}}+\lambda\mathcal{L}_{\text{LPIPS}}$ 이며 λ=0.25입니다. Llatent는 latent 공간의 MSE flow-matching loss이고 LLPIPS는 decode한 frame의 지각적 차이를 측정하는 손실로 body-part-aware semantic crop에서 계산합니다. 따라서 latent 생성 경로는 flow matching으로 학습하고, Wan2.2 VAE의 높은 공간 압축으로 생길 수 있는 frame artifact는 decoded-frame 손실로 보정합니다.

실무 활용

4DAnyone은 한 대의 카메라로 촬영한 사람 영상을 여러 시점의 일관된 영상으로 확장한 뒤 4D Gaussian Splatting 표현으로 변환합니다. 따라서 48-camera rig와 같은 조밀한 카메라 장비 없이 embodied AI, immersive content creation, virtual reality용 동적 사람 자산을 만드는 흐름에 사용할 수 있습니다. 입력 영상의 보이지 않는 영역은 생성 모델이 채우므로 단안 촬영만으로는 관찰되지 않는 옆면과 뒷면의 외관도 복원 과정에 포함됩니다.

단일 사람 영상에서 임의 카메라 시점으로 렌더링할 수 있는 4D human avatar 제작
다중 카메라 촬영 없이 virtual reality와 immersive content creation용 동적 사람 콘텐츠 생성
생성된 다중 시점 영상을 4DGS 학습 데이터로 사용해 움직이는 사람 장면 복원
embodied AI 실험에서 다양한 관찰 시점의 사람 영상과 4D 표현 구축

코드 공개 여부: 공개

코드 저장소 보기

키워드

4D Gaussian Splatting(4D 장면 표현)Video Diffusion Model(비디오 생성 모델)DiT(Transformer 기반 Diffusion 구조)Reference Context Packing(참조 context 압축)Target Context Routing(목표 시점 그룹 라우팅)3D skeleton conditioning(3D skeleton 조건화)multiview-consistent video generation(다중 시점 일관 영상 생성)

용어 해설

4D Gaussian Splatting: — 시간에 따라 변하는 3D 장면을 Gaussian 요소들의 위치, 크기, 색상, 불투명도로 표현하고 이를 여러 시점에서 빠르게 렌더링하는 방법입니다. 이 논문에서는 생성된 다중 시점 영상을 입력으로 받아 움직이는 사람의 4D 표현을 복원하는 후속 단계에 사용합니다. 조밀한 다중 카메라 영상이 필요한 기존 구성을 단일 영상 기반 생성 결과로 대체하는 것이 핵심입니다.
비디오 Diffusion Model(Video Diffusion Model): — 노이즈가 섞인 영상 잠재 표현을 여러 denoising 단계에서 점진적으로 정제해 영상을 생성하는 모델입니다. 4DAnyone은 입력 영상, 3D skeleton, 참조 영상 토큰을 조건으로 삼아 지정된 카메라 시점의 사람 영상을 만듭니다. 여러 시점의 출력이 서로 어긋나지 않아야 4D 재구성에 사용할 수 있습니다.
DiT: — Diffusion 과정의 영상 토큰을 Transformer 블록으로 처리하는 구조입니다. 이 논문에서는 video attention으로 시간과 공간 정보를 처리하고 multiview attention으로 여러 시점의 관계를 교환하며 text cross-attention으로 조건을 결합합니다. 한 번의 forward pass가 처리할 수 있는 attention context가 제한되기 때문에 다수 시점 생성에서 그룹 분할 문제가 발생합니다.
Human Mesh Recovery: — 단일 영상에서 사람의 3D 신체 구조와 움직임을 추정하는 기술입니다. 4DAnyone은 GVHMR를 사용해 monocular 입력으로부터 3D skeleton 시퀀스를 얻고, 이를 목표 카메라 시점에 투영합니다. 조밀한 depth보다 신뢰도 높은 희소 구조 신호를 사용해 시점 변화에 따른 신체 형상과 가림 관계를 제어합니다.
Flow Matching: — 노이즈 분포에서 데이터 분포로 이동하는 벡터장을 학습해 생성 과정을 구성하는 방법입니다. 논문은 latent 공간에서 표준 MSE flow-matching loss를 계산하고, 복원된 frame에는 λ=0.25인 LPIPS 손실을 추가합니다. 두 손실을 함께 사용해 잠재 표현의 생성 안정성과 VAE 복원 영상의 지각적 품질을 동시에 보정합니다.

단일 영상으로 여러 시점의 4D 사람 복원

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

비디오 latent에서 직접 4D 세계 생성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

비디오 latent에서 직접 4D 세계 생성