프롬프트가 필요 없는 범용 영역 제안 네트워크 (PF-RPN)

기존의 객체 탐지 모델은 텍스트 설명이나 예시 이미지가 있어야만 새로운 물체를 찾을 수 있었으나, 이 논문은 그런 도움 없이도 시각 정보만으로 스스로 물체를 찾아내는 기술을 도입했다. 이는 수중 탐사나 산업 현장의 결함 탐지처럼 데이터나 설명이 부족한 환경에서도 AI가 즉시 작동할 수 있게 해준다.

기존의 Open-Vocabulary Object Detection(OVD)은 텍스트나 이미지 프롬프트를 사용하여 모델에게 무엇을 찾을지 알려주어야 한다. 하지만 실제 환경에서는 찾으려는 물체의 이름조차 모르거나 예시 사진이 없는 경우가 많으며, 이를 위해 VLM을 사용해 텍스트를 생성하면 연산 비용이 크게 증가하는 한계가 존재한다.

PF-RPN은 외부 프롬프트 대신 모델 내부에서 스스로 힌트를 얻는 셀프 프롬프트 방식을 사용한다. 먼저 SIA 모듈이 이미지의 여러 층에서 중요한 시각 정보를 골라내어 기초적인 쿼리를 만들고, CSP 모듈이 이 쿼리를 바탕으로 이미지와 대조하며 물체가 있을 법한 위치를 반복적으로 정교하게 다듬는다.

특히 객체의 중심부에서 나온 정보가 경계면보다 더 정확하다는 점에 착안하여, 중심성 점수(Centerness Score)를 계산해 가장 믿을만한 후보들만 골라낸다. 결과적으로 5%의 적은 데이터 학습만으로도 수중 생물이나 산업 결함 등 완전히 새로운 도메인에서 기존 모델보다 훨씬 높은 정확도로 물체를 찾아낸다.

전체 아키텍처는 SIA, CSP, CG-QS 세 가지 핵심 모듈로 구성된다. 이미지 엔코더(ResNet 또는 Swin)에서 추출된 멀티 레벨 특징 맵을 입력으로 받아, 텍스트 임베딩 대신 학습 가능한 쿼리 임베딩을 시각적 특징과 정렬한다.

SIA 모듈은 MoE 라우터를 사용하여 각 레벨의 중요도를 예측한다. [글로벌 평균 풀링된 특징을 MLP에 입력] → [각 레벨의 가중치 w_i를 출력] → [상위 k개의 레벨을 선택해 Cross-Attention 수행] → [시각 정보가 주입된 초기 쿼리 생성] 과정을 거친다.

CSP 모듈은 생성된 쿼리를 깊은 층에서 얕은 층 순서로 반복 정제한다. [이전 단계 쿼리와 현재 층 특징 간의 코사인 유사도 계산] → [임계값 0.3을 넘는 영역을 마스크 M_i로 생성] → [마스크된 평균 풀링을 통해 쿼리 업데이트] → [배경 노이즈 억제 및 객체 특징 강화] 순으로 연산된다.

CG-QS 모듈은 쿼리의 공간적 위치에 따른 신뢰도를 평가한다. [쿼리 위치와 정답 박스 경계 간의 거리 입력] → [중심에 가까울수록 1에 가까운 ci 계산] → [예측 점수 g_i와 c_i 사이의 L1 손실로 학습] → [최종 쿼리 선택 시 분류 점수와 중심성 점수를 결합]하여 고품질 제안을 생성한다.

CD-FSOD 벤치마크에서 PF-RPN은 기존 SOTA 모델인 Grounding DINO 대비 AR100 기준 6.0, AR300 기준 7.5의 성능 향상을 기록했다. 특히 수중 생물(UODD), 산업 결함(NEU-DET) 등 도메인 변화가 심한 데이터셋에서도 일관된 성능 우위를 보였다.

ODinW13 벤치마크에서도 100/300/900개 후보 박스 기준 각각 4.4/5.2/5.8의 AR 개선을 달성했다. 이는 텍스트 프롬프트를 사용하는 모델들보다도 높은 수치로, 시각적 특징 기반의 셀프 프롬프트가 더 효과적임을 입증한다.

효율성 측면에서 GenerateU와 같은 기존 프롬프트 프리 모델 대비 VRAM 사용량을 95% 절감하고 추론 속도를 약 20배 향상시켰다. 또한 COCO 데이터의 5%만으로 학습했음에도 강력한 제로샷 일반화 능력을 나타냈다.

PF-RPN은 OVD 모델의 텍스트 엔코더 의존성을 제거하고, 학습 가능한 임베딩을 시각적 프록시로 사용하는 아키텍처를 채택했다. 이는 텍스트-이미지 간의 모달리티 갭 문제를 원천적으로 회피하며 연산 효율성을 극대화한다.

SIA 모듈의 MoE 구조는 다양한 스케일의 객체를 처리하기 위해 적응적으로 특징 층을 선택한다. 얕은 층의 세밀한 구조 정보와 깊은 층의 고수준 의미 정보를 동적으로 결합하여 쿼리의 표현력을 높인다.

CSP의 반복적 정제 메커니즘은 쿼리 자체가 이미지 내의 관련 영역을 찾는 셀프 프롬프트 역할을 수행하게 한다. 이는 고정된 텍스트 프롬프트보다 입력 이미지의 맥락에 더 유연하게 대응할 수 있게 한다.

학습 시 ImageNet의 5% 데이터와 COCO의 5% 데이터를 공동 학습하여 이미지 엔코더의 편향을 방지하고 일반화 성능을 확보했다. 최종 손실 함수는 회귀 손실, 대비 손실, 전문가 부하 균형을 위한 보조 손실, 그리고 중심성 손실의 가중 합으로 구성된다.