챕터별 상세
00:00
객체 탐지의 정의와 기존 모델의 한계
객체 탐지는 이미지 내 객체의 위치를 찾는 Localization과 종류를 판별하는 Classification을 동시에 수행하는 작업이다. 2015년 등장한 Faster R-CNN은 앵커 박스 생성과 NMS(Non-Maximum Suppression) 등 복잡한 수동 설계와 후처리가 필요했다. 이러한 설계 선택은 모델 성능에 큰 영향을 미치며 전체 시스템을 복잡하게 만드는 요인이었다.
02:22
DETR의 등장 배경과 구조
NLP 분야에서 성공을 거둔 Transformer 아키텍처를 객체 탐지에 적용하려는 시도로 DETR이 탄생했다. DETR은 CNN 백본, Transformer 인코더-디코더, 그리고 예측 헤드로 구성된다. 기존 모델보다 구조가 단순하면서도 유사한 성능을 제공하며 수동적인 설계 요소를 최소화했다.
03:08
DETR의 학습 과정: 백본과 인코더
먼저 ResNet 백본을 사용하여 이미지의 특징 맵을 추출하며 마지막 FC 레이어를 제거하여 컨볼루션 백본으로 활용한다. 추출된 특징 맵은 1x1 컨볼루션을 통해 채널 수를 조정하고 2D로 평탄화되어 Transformer 인코더의 입력으로 들어간다. 이때 위치 정보를 유지하기 위해 고정된 Sine-Cosine 포지셔널 인코딩을 추가하여 공간적 맥락을 보존한다.
06:45
DETR의 학습 과정: 디코더와 객체 쿼리
디코더는 객체 쿼리라고 불리는 학습 가능한 벡터들을 입력으로 받는다. 이 쿼리들은 이미지 내 객체가 존재할 수 있는 위치에 대한 플레이스홀더 역할을 하며 인코더의 출력과 교차 어텐션을 수행한다. 최종적으로 디코더의 출력은 각 객체의 클래스와 바운딩 박스 좌표를 예측하는 예측 헤드로 전달되어 최종 결과를 생성한다.
09:40
헝가리안 매칭과 손실 함수
DETR은 예측된 집합과 실제 정답 사이의 일대일 매칭을 위해 헝가리안 알고리즘을 사용한다. 100개의 예측 결과 중 실제 객체와 가장 잘 맞는 것을 선택하고 나머지는 객체 없음으로 매칭한다. 손실 함수는 클래스 분류를 위한 Cross Entropy Loss와 박스 위치 정확도를 위한 Smooth L1 Loss를 결합하여 전체 네트워크를 최적화한다.
12:19
추론 및 성능 비교
추론 시에는 헝가리안 매칭이나 손실 계산 없이 입력 이미지를 통과시켜 직접 결과를 얻는다. Faster R-CNN과 비교했을 때 속도와 정확도 면에서 유사한 성능을 보이지만 구조가 훨씬 단순하다는 장점이 있다. 대형 객체 탐지에서는 DETR이 뛰어난 성능을 보이나 소형 객체 탐지 성능은 Faster R-CNN이 여전히 우세한 것으로 나타났다.
용어 해설
- 디텍션 트랜스포머(DETR)
- — Transformer 아키텍처를 객체 탐지에 최초로 적용한 모델이다. 앵커 박스나 NMS 같은 수동적인 컴포넌트를 제거하고 직접적인 집합 예측을 수행하여 파이프라인을 단순화했다.
- 헝가리안 매칭(Hungarian Matching)
- — 이분 그래프에서 최적의 매칭을 찾는 알고리즘이다. DETR에서는 예측된 바운딩 박스와 실제 정답 박스를 일대일로 연결하여 중복 예측을 방지하고 손실 함수를 계산하는 데 사용된다.
- 객체 쿼리(Object Query)
- — Transformer 디코더에 입력되는 학습 가능한 벡터들이다. 이미지 내 특정 위치나 속성을 가진 객체를 찾아내기 위한 질문 역할을 수행하며 최종적으로 객체의 클래스와 위치 정보를 담게 된다.
- 비최대 억제(NMS)
- — 객체 탐지 모델에서 중복된 바운딩 박스들을 제거하고 가장 확률이 높은 하나만 남기는 후처리 기법이다. DETR은 구조적으로 이를 대체하여 별도의 NMS 과정이 필요하지 않다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 13.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
