꽃다발 인스턴스 분할을 위한 YOLOv8/v11m 성능 개선 및 2단계 파이프라인 전환 고민

핵심 요약

밀집된 꽃다발 이미지에서 미세한 색상 분류와 객체 분할 정확도를 높이기 위해 YOLO 단일 단계 모델 유지와 2단계 파이프라인 전환 사이의 기술적 선택을 논의한다.

배경

꽃다발 이미지에서 유사한 색상의 장미를 구분하고 밀집된 구역의 개별 꽃을 정확히 분할하기 위해 YOLOv8과 YOLOv11m을 사용했으나, 오분류와 마스크 병합 문제가 발생하여 해결 방안을 모색 중이다.

의미 / 영향

이 토론은 단일 단계 탐지기(Single-stage detector)가 가진 미세 분류 및 밀집 객체 분할의 한계를 보여준다. 실무적으로는 요구되는 정확도 수준에 따라 YOLO의 하이퍼파라미터 튜닝보다 모델 구조 자체를 2단계로 분리하는 것이 더 효율적인 해결책이 될 수 있음을 시사한다.

커뮤니티 반응

작성자의 구체적인 문제 상황에 공감하며, 단일 단계 모델의 한계를 극복하기 위한 다양한 아키텍처적 조언이 예상된다.

실용적 조언

미세 분류 성능이 중요하다면 YOLO의 내부 분류기 대신 EfficientNet이나 ViT를 활용한 2단계 방식을 도입한다.
밀집 구역의 마스크 분리 성능을 높이기 위해 NMS 및 IoU 임계값을 정밀하게 재조정한다.

언급된 도구

YOLOv8중립

인스턴스 분할 및 객체 탐지

YOLOv11m중립

최신 백본을 통한 특징 추출 개선 시도

EfficientNet추천

2단계 파이프라인의 분류 전용 백본 후보

ViT (Vision Transformer)추천

미세 특징 분류를 위한 백본 후보

섹션별 상세

미세 색상 분류의 한계에 직면했다. 작성자는 퓨샤(Fuchsia), 연분홍(Light Pink), 빨간색 장미 등 유사한 색상 간의 클래스 내 색조 변화(Intra-class hue variance)로 인해 모델이 오분류를 반복한다고 밝혔다. 데이터셋에 명확히 라벨링이 되어 있음에도 불구하고, 단일 단계 탐지기인 YOLO의 내부 분류기가 미세한 특징을 잡아내지 못하는 상황이다.

밀집 구역의 분할 품질 문제가 심각하다. 꽃들이 빽빽하게 모여 있는 경우 모델이 인접한 마스크를 하나로 병합하거나 경계선이 거칠게(jagged) 생성되는 현상이 발생했다. 추론 해상도를 1280으로 높였음에도 불구하고 객체 간의 경계가 모호해지는 문제는 여전히 해결되지 않은 과제로 남아 있다.

폐색으로 인한 미검출 현상이 관찰됐다. 밀집된 영역에서 일부 꽃들이 완전히 누락되는 현상이 나타났으며, 이는 객체 간의 겹침(Occlusion)으로 인한 것으로 분석됐다. 신뢰도 임계값(Confidence Threshold)을 낮추는 시도를 했으나, 참조 이미지와 비교했을 때 여전히 검출 성능이 기대에 미치지 못하고 있다.

2단계 파이프라인 전환을 고려 중이다. 작성자는 YOLO를 객체 검출 및 분할용으로만 사용하고, 잘려진 이미지(Crops)에 대해 EfficientNet이나 ViT 같은 전용 백본을 사용하는 구조를 검토하고 있다. 단일 단계 탐지기의 한계를 인정하고 분류 성능을 극대화하기 위한 구조적 변화가 필요한 시점인지에 대한 커뮤니티의 의견을 구했다.

실무 Takeaway

유사 색상 분류 시 클래스 내 변동성이 크면 YOLO 단일 모델로는 정확한 구분이 어려울 수 있다.
밀집된 객체의 마스크 병합 및 경계 왜곡 문제는 고해상도 추론만으로 해결되지 않는 경우가 많다.
분류 정확도가 핵심인 프로젝트에서는 검출과 분류를 분리하는 2단계 파이프라인(Two-stage Pipeline)이 실질적인 대안이 된다.