Feature Pyramid Networks (FPN) 완벽 가이드: 객체 탐지 성능을 높이는 핵심 아키텍처

• •CNN 아키텍처에 스케일 인지 능력을 더해주는 개선 기법이다
• •객체 탐지 및 세그멘테이션 성능을 효율적으로 향상시킨다
• •다양한 해상도의 특징 맵 피라미드를 구축한다

CNN은 층이 깊어질수록 해상도는 낮아지지만 더 추상적이고 강력한 의미 정보를 담게 된다.

• •이미지 피라미드는 성능은 좋으나 연산 비용이 과도하게 높았다
• •기존 Faster R-CNN은 단일 해상도 특징 맵 사용으로 작은 물체 탐지에 취약했다
• •연산 효율성과 스케일 인지 능력을 동시에 확보할 메커니즘이 필요했다

Scale Invariance는 이미지 내 물체의 크기가 달라져도 동일하게 인식할 수 있는 능력을 의미한다.

• •Top-down 경로를 통해 상위 층의 의미 정보를 하위 층으로 전파한다
• •Lateral Connection으로 서로 다른 경로의 특징 맵을 합산한다
• •3x3 Convolution을 사용하여 최종 특징 맵의 노이즈를 정제한다

Lateral Connection은 하위 층의 정교한 위치 정보와 상위 층의 풍부한 의미 정보를 결합하는 역할을 한다.

• •RPN이 특징 피라미드의 모든 층에서 독립적으로 후보 영역을 추출한다
• •각 층의 해상도에 최적화된 앵커 크기를 사용한다
• •다양한 스케일의 특징 맵을 활용하여 탐지 정확도를 높인다

RPN은 이미지에서 물체가 있을 법한 영역을 제안하는 네트워크이다.

• •영역 제안의 크기에 따라 특징 맵 층을 결정하는 수식을 적용한다
• •큰 물체는 저해상도 텐서에서, 작은 물체는 고해상도 텐서에서 처리한다
• •객체 크기와 특징 맵 해상도 간의 최적 매핑을 보장한다

이 수식은 물체의 크기에 가장 적합한 해상도의 특징 정보를 매칭하기 위한 기준이 된다.

• •FPN 적용 시 Precision과 Recall 지표가 유의미하게 상승했다
• •작은 객체나 밀집된 객체 탐지에서 시각적으로 더 우수한 결과를 보였다
• •실제 구현 코드에서 ResNet 백본과 FPN 모듈의 결합 방식을 확인했다

Precision은 탐지한 것 중 실제 정답의 비율이며, Recall은 실제 정답 중 탐지해낸 비율이다.