SpotSound: 세밀한 시간적 그라운딩을 통한 대형 오디오-언어 모델 강화

대형 오디오-언어 모델(ALM)은 전체적인 오디오 이해도는 높지만, 특정 사건이 정확히 언제 발생하는지 찾아내는 시간적 그라운딩 능력이 부족했다. 이 논문은 타임스탬프 토큰을 오디오 특징과 교차 배치하는 방식과 환각 억제 학습 목적 함수를 도입하여, 복잡한 배경음 속에서도 짧은 소리 이벤트를 정확히 찾아내는 기술적 돌파구를 마련했다.

기존 ALM은 오디오 전체를 요약하는 데는 능숙하지만, 특정 소리가 시작되고 끝나는 지점을 찾는 데는 취약하다. 이는 학습 데이터가 대개 클립 단위의 요약문으로만 구성되어 있고, 모델 내부적으로 오디오 특징과 절대적 시간 정보 사이의 연결 고리가 약하기 때문이다. Transformer 기반 모델에서 위치 인코딩(Positional Encoding)만으로는 수십 초 길이의 오디오 내에서 수 초 단위의 이벤트를 정밀하게 특정하기 어렵다는 한계가 있다.

SpotSound는 이 문제를 해결하기 위해 오디오 임베딩 시퀀스 중간중간에 'timestamp: 1.0s'와 같은 텍스트 토큰을 물리적으로 끼워 넣는 방식을 채택했다. 이는 모델이 Attention 연산을 수행할 때 주변 오디오 특징이 어느 시간대에 속하는지 텍스트 토큰을 통해 직접 참조할 수 있게 만든다. 마치 영상 편집 타임라인에 눈금자를 직접 그려 넣은 것과 같은 원리다.

또한, 모델이 소리가 없는데도 시간을 지어내는 '환각'을 막기 위해 이진 분류(소리 존재 여부 확인)와 시간 회귀(구간 특정)를 결합한 2단계 추론 구조를 학습에 도입했다. 이를 통해 모델은 단순히 패턴을 맞추는 것이 아니라, 실제 소리 신호의 존재를 먼저 검증한 뒤에만 시간 구간을 출력하도록 유도된다.

SpotSound의 핵심은 타임스탬프-인터리빙 시퀀스 구성이다. 오디오 인코더(Whisper-large-v3)에서 추출된 특징 벡터 A_i와 1초 단위의 텍스트 토큰 T_i를 [T1; A1; T2; A2; ...] 형태로 결합한다. 이 시퀀스를 Qwen2-7B 또는 Audio Flamingo 3와 같은 LLM 백본에 입력하여 자연어 쿼리에 대응하는 시간 구간을 'From Xs to Ys' 형태로 출력하게 한다.

학습 전략은 2단계 문제 정의를 따른다. 첫 번째 단계에서는 이진 분류 지시어 I_E를 통해 해당 소리의 존재 여부(Yes/No)를 예측한다. [입력 오디오 및 쿼리 → LLM 추론 → Yes/No 출력] 과정을 거치며, 존재하지 않는 소리에 대해 'No'라고 답하도록 학습하여 환각을 억제한다. 두 번째 단계에서는 소리가 존재할 경우에만 구체적인 시작 및 종료 시간 W를 예측하는 지시어 I_G를 수행한다.

데이터셋 구축을 위해 AudioSet Strong Label과 VGGSound 데이터를 활용하여 10,000개의 합성 샘플을 생성했다. DeepSeek-v3를 사용해 상세한 오디오 캡션을 생성하고, 이를 배경 소음(Walking Tours 데이터)과 무작위로 믹싱하여 실제 환경과 유사한 'needle-in-a-haystack' 환경을 조성했다. 학습 시에는 LoRA(rank=8, alpha=16)를 사용하여 LLM 파라미터를 효율적으로 미세 조정했다.

SpotSound-Bench 벤치마크에서 SpotSound-A 모델은 mIoU 52.7%를 기록하며 기존 SOTA 모델인 AM-DETR(22.5%) 및 Audio Flamingo 3(9.1%)를 압도적으로 능가했다. 특히 타겟 이벤트가 매우 짧은 환경에서도 높은 정밀도를 유지했다.

Clotho-Moment 데이터셋에서는 mIoU 85.6%를 달성하여 기존 최고 성능 모델 대비 약 4.7%p 향상된 결과를 보였다. UnAV-100 subset에서도 mIoU 69.8%를 기록하며 기존 모델들(최대 42.8%) 대비 비약적인 성능 향상을 입증했다.

환각 억제 실험에서 SpotSound는 존재하지 않는 소리에 대해 'No'라고 정확히 답하는 정확도가 Clotho-Moment 기준 85.4%에 달했다. 이는 기존 ALM들이 존재하지 않는 소리에 대해서도 습관적으로 시간 구간을 출력하던 문제(환각)를 효과적으로 해결했음을 보여준다.

SpotSound 아키텍처는 Whisper-large-v3 오디오 인코더와 Qwen2-7B 또는 Audio Flamingo 3 LLM을 결합한 구조다. 오디오 신호는 16kHz로 리샘플링된 후 128채널 멜-스펙트로그램으로 변환되며, 인코더를 거쳐 약 40ms 단위의 토큰으로 표현된다. 핵심 차별점은 절대적 시간 정보를 텍스트 토큰으로 삽입하여 LLM의 컨텍스트 윈도우 내에서 오디오 특징과 시간을 하드-얼라인먼트(Hard-alignment) 시킨 점이다.

학습 시 Negative Sampling 전략을 사용하여 견고성을 높였다. 각 오디오 클립에 대해 실제 존재하는 소리(Positive Query)와 존재하지 않는 소리(Negative Query)를 쌍으로 구성하여 모델이 '존재 여부 판단'을 선행하도록 강제했다. 이는 기존 모델들이 오디오 신호와 무관하게 쿼리 텍스트에만 의존해 시간 구간을 생성하던 Prior Bias 문제를 해결한다.

구현 측면에서 30초 이상의 긴 오디오는 30초 단위 세그먼트로 나누어 독립적으로 인코딩한 후 시간 순서대로 연결하여 처리한다. LoRA 파인튜닝 시 rank=8 설정이 성능과 효율성 사이에서 최적의 균형을 보였으며, 타임스탬프의 해상도는 1초 단위가 추론 지연 시간과 그라운딩 정확도 측면에서 가장 적절한 것으로 나타났다.

여러 개의 동일한 소리 이벤트가 반복되는 '멀티-인스턴스' 시나리오에서 모델이 가장 두드러진 이벤트 하나만 찾고 조기에 생성을 종료하는 경향이 있다. 또한, 시간적 정밀도는 학습 데이터의 주석 품질과 입도(granularity)에 직접적으로 제한을 받는다.