iNaturalist 스타일의 맞춤형 이미지 분류 시스템 구축을 위한 아키텍처 조언

실용적 조언

계층적 구조 대신 단일 대형 모델을 사용하되, 손실 함수에 계층적 정보를 반영하는 방식을 검토하라.
AutoML 대신 PyTorch나 TensorFlow를 사용하여 최신 Vision Transformer(ViT)나 EfficientNet 기반의 커스텀 학습을 시도하라.

섹션별 상세

사용자는 모든 라벨을 하나의 데이터셋에 통합했을 때 서로 다른 주제 간의 혼동이 발생한다고 판단하여 시스템을 계층화했다. 먼저 이미지의 대분류를 결정하는 메인 모델을 거친 뒤, 해당 결과에 맞는 하위 모델을 호출하여 최종 라벨을 식별하는 파이프라인을 구축했다. 이러한 구조는 논리적으로는 타당해 보이지만 실제 구현 시에는 복잡도가 크게 증가하는 결과를 초래했다.

계층적 구조를 도입했음에도 불구하고 성능이 오히려 하락하는 예상치 못한 결과가 나타났다. 이는 상위 단계 모델의 분류 오류가 하위 단계로 그대로 전이되어 전체 시스템의 신뢰도를 떨어뜨리는 전형적인 계층적 분류의 부작용이다. 특히 하위 모델이 자신의 도메인 내에서도 대상을 명확히 식별하지 못하는 현상이 관찰됐다.

Google Vertex AI AutoML의 객체 분류 모델이 매우 세밀하고 미묘한 차이를 가진 콘텐츠를 식별하기에는 충분하지 않을 수 있다는 의문이 제기됐다. AutoML은 일반적인 이미지 분류에는 효과적이지만, 생물 종 식별처럼 아주 미세한 시각적 차이를 구분해야 하는 고난도 작업에서는 충분한 성능을 내지 못할 수 있다. 사용자는 학습된 모델을 텐서플로우 컨테이너 파일로 내보내어 사용 중이다.

iNaturalist와 같은 대규모 종 식별 시스템을 재구축하기 위해서는 단순 분류 모델을 넘어선 접근이 필요하다. 대조 학습을 통해 이미지 간의 유사성을 학습하거나, 대규모 사전 학습 모델을 미세 조정하는 방식이 대안으로 거론됐다. 또한 데이터셋의 품질과 라벨링의 일관성이 모델 아키텍처보다 더 중요한 요소일 수 있다는 점도 시사된다.

용어 해설

계층적 분류(Hierarchical Classification): — 데이터를 트리 구조처럼 상위 범주에서 하위 범주로 단계적으로 분류하는 기법이다. 복잡한 라벨 체계를 관리하기 용이하지만 상위 모델의 오류가 하위로 전파되어 전체 정확도가 급격히 하락하는 단점이 존재한다.
자동 머신러닝(AutoML): — 머신러닝 모델의 아키텍처 탐색과 하이퍼파라미터 튜닝 등 학습 과정을 자동화하는 기술이다. 비전문가도 쉽게 모델을 만들 수 있게 해주지만 미세한 특징 추출이 필요한 도메인 특화 작업에서는 세밀한 제어가 어렵다는 한계가 있다.
버텍스 AI(Vertex AI): — 구글 클라우드에서 제공하는 통합 머신러닝 플랫폼이다. 데이터 준비부터 모델 학습, 배포까지의 전 과정을 지원하며 특히 AutoML 기능을 통해 코드 작성 없이도 고성능 모델을 생성할 수 있는 환경을 제공한다.
아이내추럴리스트(iNaturalist): — 전 세계 관찰자가 기록한 생물 종 데이터를 공유하고 식별하는 커뮤니티 및 플랫폼이다. 수만 종의 생물을 정확히 분류해야 하므로 컴퓨터 비전 분야에서 매우 정밀한 이미지 분류 기술이 요구되는 대표적인 사례로 꼽힌다.

언급된 도구

Google Vertex AI AutoML중립

이미지 분류 모델 자동 학습 및 배포

TensorFlow중립

학습된 모델의 컨테이너 파일 형식 및 실행 환경