RF-DETR Keypoint: 실시간 키포인트 검출 모델 프리뷰 공개

섹션별 상세

기존 키포인트 모델은 COCO 데이터셋에 맞춘 수동 대역폭 설정이 필요하여 커스텀 데이터셋 적용이 어렵다. RF-DETR Keypoint는 학습 과정에서 각 키포인트의 분포를 스스로 학습하여 데이터셋에 관계없이 최적화된다.

모델은 예측 결과와 함께 2D 가우시안 공분산 형태의 불확실성을 제공한다. 이는 칼만 필터나 추적 알고리즘 등 다운스트림 작업에서 가중치 조절이나 노이즈 제거에 직접 활용 가능하다.

NAS를 통해 훈련되어 단일 가중치로 다양한 해상도에서 작동한다. 입력 해상도를 조절하여 4.5ms에서 26ms까지 지연 시간을 유연하게 변경할 수 있다.

COCO val2017 기준 YOLO26x-pose 대비 높은 AP와 낮은 지연 시간을 달성했다. GroupPose Swin-L과 유사한 정확도를 1/10 이하의 지연 시간으로 구현한다.

근거

COCO val2017 기준 YOLO26x-pose 대비 높은 AP와 낮은 지연 시간을 달성했다. — Model Performance 섹션의 Pareto chart 및 성능 비교표

신경망 아키텍처 탐색(NAS): — 데이터셋과 하드웨어 제약 조건에 최적화된 신경망 구조를 자동으로 설계하는 기법이다. 수동 설계보다 효율적인 정확도-지연 시간 트레이드오프를 찾는다.
객체 키포인트 유사도(OKS): — 키포인트 검출 성능을 평가하는 표준 지표로, 예측된 키포인트와 실제 키포인트 간의 유클리드 거리와 객체 크기를 고려하여 유사도를 계산한다.
확률적 손실 함수(Probabilistic Loss): — 키포인트를 단일 좌표가 아닌 위치 분포로 예측하여 학습하는 방식이다. 키포인트의 위치 불확실성을 모델링하여 데이터셋별로 최적의 대역폭을 스스로 학습한다.

python

from rfdetr import RFDETRKeypointPreview; model = RFDETRKeypointPreview(); key_points = model.predict("image.jpg", threshold=0.5)

RF-DETR Keypoint 모델을 불러와 이미지에서 키포인트를 예측하는 기본 사용 예시이다.

근거