AnimalCLAP: 종 인식 및 특성 추론을 위한 분류 체계 인식 언어-오디오 사전 학습

기존의 동물 소리 분석 모델은 학습 데이터에 없는 새로운 종을 식별하는 데 한계가 있었다. 이 논문은 동물의 계통학적 분류 정보를 학습 과정에 통합하여, 처음 듣는 소리라도 그 종의 분류학적 위치와 생태적 습성(먹이, 활동 시간 등)을 정확히 유추할 수 있게 한다. 이는 데이터가 부족한 희귀종 보호와 생태계 모니터링의 효율성을 높이는 기술적 토대가 된다.

딥러닝에서 Embedding은 데이터를 고차원 공간의 점으로 표현하는 과정이다. 기존의 동물 소리 분류 모델은 '사자 소리'와 '사자'라는 단어를 단순히 가깝게 배치하도록 학습하지만, 이는 사자와 표범이 생물학적으로 가깝다는 관계성을 무시한다. 이로 인해 모델은 학습 데이터에 없는 새로운 고양잇과 동물의 소리를 들었을 때 이를 전혀 엉뚱한 종으로 오분류하는 한계가 있다.

AnimalCLAP은 생물의 계층적 Taxonomy(분류 체계)를 Embedding Space에 직접 투영한다. '강-목-과-속-종'으로 이어지는 텍스트 정보를 함께 학습함으로써, 모델은 소리의 특징이 생물학적 위계와 어떻게 연결되는지 파악한다. 예를 들어, 특정 주파수 패턴이 '조류'라는 상위 범주의 공통 특성임을 이해하게 된다.

이러한 구조적 학습 덕분에 모델은 한 번도 학습하지 않은 종의 소리를 접하더라도, 그 소리가 가진 상위 분류군의 특징을 포착하여 해당 종이 어떤 과나 속일 가능성이 높은지 추론한다. 이는 단순한 이름 매칭을 넘어 생물학적 지식을 음향 분석에 결합한 결과이다.

Taxonomy-Aware Pre-training 단계에서는 오디오 클립과 이에 대응하는 5가지 형태의 텍스트 프롬프트를 쌍으로 구성한다. 프롬프트는 일반명, 학명, 그리고 'Aves Passeriformes...'와 같은 분류학적 서열을 포함한다. 오디오 인코더 $f_a$와 텍스트 인코더 $f_t$를 통해 각각의 특징 벡터를 추출한 뒤, 코사인 유사도 $s_{ij} = \exp(\gamma) \frac{f_a(x_i) \cdot f_t(\phi(y_j))}{\|f_a(x_i)\| \|f_t(\phi(y_j))\|}$를 계산한다. [오디오와 텍스트 벡터를 입력으로] → [두 벡터의 내적을 크기의 곱으로 나누어 방향의 일치도를 측정하고] → [유사도 점수를 산출하여] → [정답 쌍의 점수는 높이고 오답 쌍의 점수는 낮추는 Contrastive Loss를 통해 모델을 최적화한다.]

Ecological Trait Fine-tuning 단계에서는 사전 학습된 오디오 인코더를 고정하거나 미세 조정하여 22가지 생태적 특성을 예측한다. 식성(Diet type), 활동 시간(Activity pattern), 이동 방식(Locomotion) 등 각 특성에 대해 MLP 레이어를 추가하여 분류를 수행한다. 다중 클래스 분류에는 Softmax 연산을 거쳐 Cross-entropy loss를 적용하고, 이진 분류에는 Sigmoid 연산을 통해 확률을 계산한 뒤 Binary logistic loss를 사용하여 학습한다.

미학습 종에 대한 제로샷 분류 실험에서 AnimalCLAP은 학명(Scientific name) 기준 26.1%의 Top-1 정확도를 기록했다. 이는 동일한 구조의 기본 CLAP 모델이 기록한 0.36%와 비교했을 때 비약적인 향상이다. 특히 분류학적 서열(Taxonomic sequence)을 프롬프트로 사용했을 때 mAP(Top-5) 점수가 37.6%에 달해, 모델이 생물학적 위계를 성공적으로 학습했음을 입증했다.

생태적 특성 추론 성능에서도 괄목할 만한 성과를 거두었다. 활동 패턴(Activity) 예측에서 F1 스코어 83.7을 기록하여 CLAP(28.4) 대비 3배 가까운 성능을 보였으며, 이동 방식(Locomotion) 중 수중(Aquatic) 이동은 89.0, 비행(Aerial)은 84.8의 높은 정확도를 나타냈다. 이는 동물의 울음소리에 그들의 신체 구조와 행동 양식이 음향적으로 반영되어 있음을 시사한다.

Ablation study를 통해 분류학적 순서의 중요성을 확인했다. 계층 구조를 '강'에서 '종'으로 정렬하여 입력했을 때의 정확도가 무작위 순서로 입력했을 때보다 약 5%p 높게 나타났다. 또한 오류 분석 결과, 모델이 종 단위에서 틀리더라도 같은 과(Family)나 속(Genus) 내에서 예측하는 비율이 높아져, 오분류가 발생하더라도 생물학적으로 타당한 범위 내에서 이루어짐이 확인됐다.

전체 아키텍처는 오디오 처리를 위한 HTS-AT와 텍스트 처리를 위한 RoBERTa 기반 Transformer로 구성된다. HTS-AT는 계층적 토큰 시맨틱 구조를 사용하여 오디오의 시간적, 주파수적 특징을 효과적으로 추출하며, RoBERTa는 텍스트 프롬프트에 담긴 복잡한 생물학적 명칭과 위계 정보를 처리한다. 각 인코더 상단에는 2층 MLP 헤드를 배치하여 공통된 임베딩 공간으로 투영한다.

구현 측면에서 가장 중요한 차별점은 텍스트 프롬프트의 구성 방식이다. 단순히 종의 이름만 사용하는 대신, 'Class → Order → Family → Genus → Species' 순서로 정렬된 시퀀스를 제공한다. 실험 결과, 이 순서를 무작위로 섞었을 때보다 정렬된 상태로 제공했을 때 모델의 제로샷 성능이 유의미하게 높았다. 이는 텍스트 인코더가 언어적 맥락을 통해 생물학적 위계 구조를 더 잘 내재화하기 때문이다.

학습 데이터셋은 iNaturalist와 Xeno-canto에서 수집한 4,225시간 분량의 70만 개 녹음 파일을 포함한다. 6,823종에 대해 GPT-5를 활용하여 22가지 생태적 특성 레이블을 생성하고 수동 검증을 거쳤다. 평가 시에는 학습에 전혀 포함되지 않은 300종의 희귀종을 별도의 테스트셋으로 구성하여 모델의 일반화 능력을 엄격하게 검증했다.

서식지(Habitat)나 기후 분포(Climatic distribution)와 같이 광범위한 환경적 특성은 소리만으로 추론하기에 상대적으로 성능 향상 폭이 낮았다. 이는 해당 범주 내의 생물학적 다양성이 너무 커서 음향적 특징이 일관되지 않기 때문으로 분석된다.