정역학에서 동역학으로: 잠재 전이 사전 지식을 활용한 물리 인식 이미지 편집

기존 AI 이미지 편집 모델은 물체의 형태를 바꾸는 데는 능숙하지만, 물속에 넣은 빨대가 굴절되거나 뜨거운 열에 버터가 녹는 등의 물리적 현상을 제대로 묘사하지 못하는 한계가 있었다. 이 논문은 편집을 단순한 이미지 변환이 아닌 물리적 상태의 변화로 정의하고 비디오 데이터를 통해 물리 법칙을 학습시켜 훨씬 더 사실적인 편집 결과를 만들어낸다.

기존의 이미지 편집은 소스 이미지와 타겟 이미지 사이의 불연속적인 매핑으로 문제를 정의한다. 이는 Transformer나 Diffusion 모델이 텍스트 프롬프트에 맞춰 픽셀을 수정하는 데는 효과적이지만, 두 상태 사이의 물리적 인과관계를 무시하게 만든다. 예를 들어 컵에 물을 붓는 편집에서 물의 굴절이나 수면의 변화 같은 중간 과정의 역학이 생략되어 비현실적인 결과가 생성되는 한계가 존재한다.

이 논문은 편집을 정적인 매핑이 아닌 물리적 상태 전이(Physical State Transition) 과정으로 재정의한다. 비디오 데이터는 상태가 시간에 따라 어떻게 진화하는지 보여주는 연속적인 증거를 포함하고 있다. 연구진은 비디오의 중간 프레임들에서 물리적 변화의 핵심을 추출하여 전이 쿼리(Transition Queries)라는 잠재 공간의 벡터로 압축하고, 이를 모델이 학습하게 함으로써 보이지 않는 물리 법칙을 내재화하도록 유도한다.

결과적으로 모델은 단순한 픽셀 매칭을 넘어 물리적 제약 조건을 고려하며 이미지를 생성한다. 굴절 법칙이나 재료의 변형 특성을 반영하여, 기존 모델들이 흔히 범하는 물리적 환각(Hallucination) 현상을 획기적으로 줄이고 실제 세계의 법칙에 부합하는 이미지를 출력한다.

PhysicEdit은 Qwen-Image-Edit 아키텍처를 기반으로 하며, 물리적 추론을 담당하는 텍스트 분기와 시각적 전이를 담당하는 시각 분기로 구성된다. 텍스트 분기는 고정된 Qwen2.5-VL 7B를 사용하여 입력 이미지와 명령어를 분석하고, 지켜야 할 물리 법칙과 변화 과정을 텍스트 형태로 생성하여 컨텍스트로 제공한다.

시각 분기에서는 학습 가능한 K개의 전이 쿼리를 도입한다. 학습 시 비디오의 중간 프레임에서 DINOv2(구조적 의미)와 VAE(세밀한 질감) 인코더를 통해 특징을 추출하고, 이를 전이 쿼리가 예측하도록 정렬한다. [중간 프레임 특징과 소스 이미지 특징의 차이 Delta 입력 → 전이 쿼리와의 MSE Loss 계산 → 전이 쿼리가 물리적 변화량 자체를 학습] 과정을 거쳐 비디오 없이도 물리적 변화를 재구성할 수 있게 된다.

타임스텝 기반 동적 변조(Timestep-Aware Dynamic Modulation) 기술을 적용한다. 확산 모델의 타임스텝 t가 1에 가까울 때(고노이즈)는 DINOv2 기반의 구조적 가이드를 강조하고, t가 0에 가까울 때(저노이즈)는 VAE 기반의 질감 가이드를 강조한다. [t와 예측된 특징들의 가중치 합산 → MMDiT의 조건부 입력으로 주입]하여 거친 구조에서 세밀한 디테일 순으로 물리적 특성을 반영한다.

PICABench 벤치마크에서 물리적 사실성 점수 64.86을 기록하며 오픈소스 모델 중 최고 성능을 달성했다. 특히 광원 효과(LSE)에서 기존 61.19에서 76.16으로, 변형(DFM)에서 48.66에서 60.76으로 크게 향상되어 물리적 역학 이해도가 높아졌음을 입증했다.

지식 기반 편집을 평가하는 KRISBench에서도 종합 점수 72.16을 달성하여 Gemini-2.0이나 Doubao와 같은 상용 모델을 능가했다. 특히 시간적 지각(Temporal Perception) 점수가 71.73에서 76.13으로 상승하여 비디오 기반 학습이 시간적 진화 과정을 이해하는 데 효과적임이 확인됐다.

Ablation Study 결과, 텍스트 기반 추론만 사용했을 때는 역학 점수가 높았고, 시각적 전이 쿼리만 사용했을 때는 광학 점수가 높게 나타났다. 두 메커니즘을 결합한 최종 모델이 모든 지표에서 가장 우수한 성능을 보여 두 분기의 상호 보완성을 증명했다.

PhysicEdit은 MMDiT(Multi-Modal Diffusion Transformer) 구조를 백본으로 사용하며, 고정된 MLLM(Qwen2.5-VL)의 출력을 조건부 입력으로 활용한다. 핵심 기술적 차별점은 비디오 데이터셋 PhysicTran38K를 통해 학습된 잠재 전이 사전 지식을 전이 쿼리 형태로 주입한다는 점이다.

전이 쿼리는 K개의 학습 가능한 토큰으로 구성되며, MLLM의 추론 텍스트 뒤에 연결되어 소스 이미지와 텍스트 컨텍스트를 동시에 참조한다. 학습 과정에서는 비디오 프레임 간의 특징 차이(Residual Delta)를 타겟으로 삼아, 모델이 정적인 상태가 아닌 변화량 자체를 인코딩하도록 강제한다.

데이터셋 구축 시 Wan2.2-T2V 모델로 생성된 비디오를 ViPE(Video Pose Engine)를 이용해 기하학적 안정성을 필터링하고, GPT-5-mini를 통해 물리적 원칙 준수 여부를 검증하는 엄격한 파이프라인을 적용했다. 이를 통해 38,620개의 고품질 비디오-명령어 쌍을 확보하여 학습에 활용했다.

학습 시에는 LoRA를 사용하여 백본 모델을 미세 조정하며, 전이 쿼리와 프로젝션 헤드는 전이 손실을 통해 독립적으로 업데이트된다. 이러한 분리된 그래디언트 업데이트 전략은 모델이 기존의 강력한 시각적 이해 능력을 유지하면서도 새로운 물리적 역학을 효과적으로 내재화하게 한다.

텍스트-비디오 생성 모델의 명령어 이행 능력이 완벽하지 않아 데이터셋 구축 시 원치 않는 시점 변화가 발생할 수 있으며, 이를 ViPE 필터로 완화하려 했으나 큰 비정형 변형이 있는 경우 시점 변화와 혼동될 가능성이 존재한다.