오디오 임베딩을 이용한 맛 인지 기반 음악 검색

사운드와 미각의 교차감각적 연관은 심리학에서 반복 검증된 현상이지만 멀티미디어 색인에서는 거의 활용되지 않았다. 이 연구는 오디오만으로 사람들의 집단적 맛 평정을 추정해 색인의 새로운 의미 축을 제공함으로써 음악 검색과 추천의 세밀한 쿼리(예: 더 달콤한 유사곡 찾기)를 가능하게 했다. 또한 인간 평균 평가자보다 집단 합의값에 더 근접한 오차 수준을 보이며 콘텐츠 기반 자동 라벨링의 실용 가능성을 제시했다.

문제의 출발점은 오디오 임베딩이 인간의 맛 인상을 반영할 수 있는 저차원 연속 공간을 제공하느냐다. 사전학습된 오디오 인코더는 시간축 평균풀링으로 고정 차원 임베딩을 출력하며, 이 임베딩을 학습 가능한 소형 헤드에 연결하면 소량의 라벨로도 다중 타깃 회귀가 가능하다. 본 연구는 개별 인코더의 보완적 정보를 활용하면 순위 품질을 개선할 수 있다는 점을 핵심 직관으로 삼았다.

데이터는 통합된 음악-맛 코퍼스로 구성되며 각 클립은 15초 길이이고 학습/검증/시험 분할이 고정되어 있다. 모델 구조는 사전학습 인코더를 동결해 임베딩을 캐시한 뒤 시간축 평균풀링된 D차원 벡터를 입력으로 하는 두층 MLP(hidden 256, ReLU, dropout 0.2)와 최종 sigmoid로 5차원 맛 강도를 [0,1]로 출력한다. 결측 타깃을 가진 서브셋을 처리하기 위해 마스크된 MSE 손실을 사용했고 학습은 AdamW, 학습률 1e-3, weight decay 1e-4, 배치32, 최대 50 epoch에 발리데이션 macro r로 조기중단(patience 10)을 적용해 진행했다.

주요 계량 지표는 평균 절대오차(MAE), RMSE와 순위 상관(macro Pearson r, Spearman ρ)이며 다섯 시드 평균으로 보고되었다. 최상의 설정은 macro RMSE 0.134를 달성해 이전 SOTA의 0.219를 큰 폭으로 개선했으며 단일 VGGish 인코더도 동일한 RMSE 0.134를 보였다. 게이트형 레이트 퓨전은 절대오차를 더 낮추지는 못했지만 macro Pearson r를 0.724까지 끌어올려 순위 기반 검색 성능을 개선했고 색인 평가에서 309개 풀 기준 P@5 등에서 예측 공간이 텍스트 기반 CLAP보다 월등히 우수하다는 결과가 확인되었다.

전체 아키텍처는 입력 오디오(15s) → 동결 인코더 f_θ → 시간축 평균풀링 → 캐시 → 두층 MLP(hidden=256, ReLU, dropout=0.2) → sigmoid 출력(5-D)의 흐름으로 구성되며 출력은 [0,1]로 바운드된다. 마스크된 MSE는 관측되지 않은 타겟의 손실 기여를 제거해 학습중에 비관측값이 영으로 수렴하는 현상을 막았다. 게이트형 퓨전은 임베딩을 인코더별로 슬라이스한 뒤 각 슬라이스에 학습 가능한 sigmoid 게이트를 곱해 재가중합하고 그 결과를 헤드에 전달하는 형태로 구현됐다.

학습 데이터 규모가 상대적으로 작아(269 학습 클립, 40 시험 클립) 샘플링 불확실성이 크고 결과의 범용성에 제약이 있다. 데이터와 참고 문헌의 문화적 편향이 서구 중심의 맛-사운드 문헌에 기반해 있어 교차문화 일반화가 열려 있다. 'spicy' 축은 트리제미널 특성으로 선행 근거가 약해 모델화가 덜 제약되어 있다는 점이 논문에서 명시된 한계이다.