owl-vit

OWL-ViT는 텍스트와 이미지 표현을 같은 임베딩 공간으로 정렬하여 자연어 쿼리로 객체를 식별할 수 있게 하는 비전 Transformer 계열 모델이다. 입력 이미지에서 Region Proposal이나 전체 패치 임베딩을 생성하고 텍스트 임베딩과 유사도 계산을 수행해 제로샷 검출을 가능하게 한다. 이 방식은 사전 학습된 라벨에 의존하지 않고 새로운 객체를 텍스트 쿼리나 예시 이미지로 즉시 탐지할 수 있다는 점에서 비디오 분석에 유리하다.