OmnimatteZero: 비디오에서 객체와 그림자를 실시간으로 제거하는 혁신적 AI

• •객체 제거 시 그림자, 반사광, 주변 물리적 변화(풀의 움직임 등)를 동시에 처리한다.
• •기존 기술인 DiffuEraser 등이 해결하지 못한 이차 효과 제거 문제를 해결했다.
• •25 FPS의 속도로 실시간 처리가 가능하다.

• •새로운 이미지를 생성하는 대신 다른 프레임의 기존 배경 정보를 활용한다.
• •Mean Temporal Attention 기법으로 프레임 간 색상과 라인의 일관성을 유지한다.
• •추가 학습이 필요 없는 Training-free 구조로 범용성이 높다.

Mean Temporal Attention은 빈 공간을 자석처럼 설정하여 주변 프레임의 배경 정보만을 끌어당겨 평균화하는 방식이다.

• •평균화 작업으로 인해 결과 영상의 선명도가 원본 대비 소폭 저하될 수 있다.
• •안정적인 비디오 재생을 위해 선명도 대신 일관성을 선택한 설계이다.
• •NVIDIA와 Adobe의 협업 결과물로 곧 오픈소스로 공개될 예정이다.