dit-based-video-pretraining
DiT 기반 비디오 사전학습
DiT는 이미지/프레임 단위의 Transformer 기반 표현을 비디오로 확장하여 시공간적 패턴을 학습하는 백본이다. 이 논문 맥락에서는 DiT를 비디오 파운데이션 모델의 사전학습 기초로 삼아 행동과 물리적 상호작용을 학습하도록 설계되었다. DiT의 공간적 표현력을 시공간적 일관성 및 물리적 합리성과 연결하는 것이 목적이다.
중급
DiT 기반 비디오 사전학습
DiT는 이미지/프레임 단위의 Transformer 기반 표현을 비디오로 확장하여 시공간적 패턴을 학습하는 백본이다. 이 논문 맥락에서는 DiT를 비디오 파운데이션 모델의 사전학습 기초로 삼아 행동과 물리적 상호작용을 학습하도록 설계되었다. DiT의 공간적 표현력을 시공간적 일관성 및 물리적 합리성과 연결하는 것이 목적이다.
