MuScriptor: 멀티악기 음악 전사를 위한 오픈 모델

왜 중요한가

다중 악기 전사는 서로 겹치는 음색과 주파수 대역 때문에 기존 단일 악기 전사 기법으로는 실음원에서 신뢰할 만한 결과를 얻기 어렵다. MuScriptor는 대규모 합성 MIDI로 사전학습한 뒤 11k시간에 달하는 실제 정렬 주석 데이터로 미세조정하고 소량의 고품질 샘플로 강화학습을 수행해 실음원에서의 도메인 갭을 줄였다. 이로 인해 연구자와 음악가가 실전 음원에 적용 가능한 범용 전사 모델을 이용할 수 있게 되었다.

핵심 기여

오픈 웨이트 멀티악기 전사 모델과 대규모 실음원 데이터셋 공개

MuScriptor의 모델 가중치와 추론 코드를 공개했으며, 학습에 사용된 170k개 트랙(약 11k 시간)의 실제 음악 녹음과 정렬된 노트 주석을 수집해 학습 데이터로 활용했다. 해당 공개는 연구자와 실무자가 실음원 기반 전사 성능을 재현하고 추가 연구를 수행할 수 있는 기반을 제공한다.

합성 데이터 프리트레이닝의 효용과 한계에 대한 정량적 분석

약 1.45M MIDI로 구성된 합성 데이터셋을 온더플라이 합성 파이프라인으로 사용해 프리트레이닝을 수행했고, 다양한 비율의 실제 데이터로 파인튜닝했을 때의 성능 변화를 체계적으로 측정했다. 실음원 데이터가 적을 때 합성 프리트레이닝이 특히 효과적이며, 전체 실음원으로 미세조정할 경우 합성과 실데이터의 결합이 최상의 결과를 만든다는 사실이 확인되었다.

고품질 전사에 맞춘 강화학습(그룹 상대 보정)을 통한 정렬 개선

300개 고품질 트랙을 이용해 GRPO 유사 정책그레이디언트 방식으로 포스트트레이닝을 수행했고, 각 생성 샘플에 대해 onset/frame/offset F-score를 합산한 보상으로 학습했다. 보상 표준화와 G=8 샘플링, 온도 τ=0.75 등을 적용한 결과 false negative 감소와 onset 정밀도 향상이 관찰되었다.

악기 조건부 입력과 추론 시 분류기-프리 가이던스 적용

트랙 단위의 악기 목록을 임베딩으로 모델 입력에 접두사로 주는 조건부 메커니즘을 도입해 세그먼트 경계에서의 일관성을 높였고, 추론 시 classifier-free-guidance(αCFG=2)를 적용해 조건성 조절을 실현했다. 악기 조건을 제공하면 Multi F1 등 주요 지표가 개선되는 정량적 효과가 확인되었다.

핵심 아이디어 이해하기

다중 악기 전사는 시간-주파수 도메인에서 서로 다른 악기가 동시다발적으로 소리를 내는 문제로, 음높이·온셋·지속시간 정보를 동시에 모델링해야 한다. 기존의 프레임 기반 분류 접근은 악기 수와 시퀀스 길이가 늘어날수록 희소성과 계산 비용으로 한계가 발생하며, 합성 데이터로 학습한 모델은 실제 음향 효과와 프로덕션 차이에서 도메인 갭을 보였다. MuScriptor는 이러한 문제에 대응하기 위해 시계열 생성 문제를 토큰화한 MIDI 유사 이벤트 예측으로 전환하고, 스펙트로그램 입력을 디코더 전용 Transformer로 받아 토큰 시퀀스를 자율회귀적으로 출력한다.

방법론

데이터 측면에서 합성 데이터 파이프라인은 약 1.45M MIDI를 기반으로 동적 증강을 수행했다. 각 MIDI에서 임의 구간을 샘플링하고 피치 쉬프팅·템포 변환·벨로시티 조정·악기 랜덤화 등 기호 수준 증강을 적용한 뒤 250개 이상의 사운드폰트를 랜덤 선택해 합성하고 무작위 디튠을 추가하여 학습 중 무한 변형을 생성했다. 실제 데이터는 오디오-심볼 정렬을 통해 확보한 170k 트랙(약 11k 시간)으로, 바 라인 보간과 크로마·온셋 기반 동적 시간 왜곡을 조합해 정렬을 수행하고 품질 임계값과 최대 시간 팽창 비율을 적용해 불량 쌍을 제거했다.

주요 결과

단계별 실험에서 합성 데이터만으로도 frame F1에서는 경쟁력 있는 성능을 보였으나 note-level(onset/offset)과 multi-instrument 지표에서는 실데이터 미세조정이 필수였다. 실데이터로 파인튜닝하면 모든 지표가 대략 20포인트 내외로 상승했으며, 이후 300곡의 고품질 데이터로 강화학습을 수행하면 최종적으로 onset F1 60.4, frame F1 73.3, offset F1 49.0, multi F1 48.2를 달성했다. 모델 크기와 입력 표현 관련 실험에서 대형 모델(1.3B)이 소형 모델보다 일관되게 우수했고, mel-spectrogram 입력이 CQT·Encodec·MERT보다 더 나은 결과를 냈다.

기술 상세

모델은 decoder-only Transformer 구조로 네 가지 크기(60M, 100M, 300M, 1.3B)를 실험했으며 각 크기는 self-attention 헤드 수, 레이어 깊이, 잠재 차원으로 구분되었다. 입력은 5초 길이의 멜-스펙트로그램(16 kHz, nFFT=2048, hop=160으로 프레임레이트 100Hz, 512 멜 빈)과 트랙 단위 악기 리스트 임베딩을 병렬로 투입해 임베딩 시퀀스를 접두사로 연결하는 방식으로 처리했다. 정답 토큰은 MT3 스타일의 토크나이즈 방식을 따르되 128 MIDI 악기를 MT3_FULL_PLUS 분류에 따라 36개 군으로 매핑해 악기 조건화와 타겟 레이블을 통일했다.

한계점

현행 토크나이저 설계는 동일 악기·동일 음고에서 동시 다발 음을 허용하지 않으며, 이 때문에 동일 피치·동일 악기에 중첩되는 짧은 음을 평가에서 제거하지 않으면 성능 지표가 크게 하락한다. 합성 데이터만으로는 온셋·오프셋 정밀도가 부족해 실제 녹음에서의 도메인 갭을 완전히 해소하지 못하며, 고품질 정렬 주석 확보가 모델 성능에 중요한 영향을 미친다. 논문은 악기 어휘 확장과 동시 음 활동 표현, 그리고 세그먼트 길이 확장을 향후 과제로 명시했다.

실무 활용

MuScriptor는 오픈 소스로 배포된 모델과 함께 대규모 실음원 주석 데이터셋 및 합성 파이프라인을 제공하므로 연구자와 개발자가 실음원 기반 전사 파이프라인을 재현하거나 도메인 특정 파인튜닝을 수행할 수 있다. 악기 조건부 입력 기능을 통해 메타데이터가 존재하는 환경에서는 특정 악기만 선택해 전사 결과를 얻는 실무 활용이 가능하다.

음악가가 혼합 음원에서 특정 악기의 악보를 추출해 학습·편곡에 활용하는 워크플로우
MIR(음악 정보 검색) 시스템에서 코드·키·편성 정보를 추출해 검색과 메타데이터 구축에 활용
대규모 음악 컬렉션에 대해 자동 전사를 수행해 음악학 연구용 코퍼스 구축
전사 성능이 중요한 생성모델 파이프라인의 전처리 단계로 사용

코드 공개 여부: 공개

코드 저장소 보기

키워드

automatic music transcription(자동 음악 전사)mel-spectrogram(멜-스펙트로그램)reinforcement learning(강화학습)GRPO(GRPO)classifier-free-guidance(분류기-프리 가이던스)synthetic pre-training(합성 데이터 프리트레이닝)instrument conditioning(악기 조건부 입력)

용어 해설

멜-스펙트로그램(Mel-spectrogram): — 원음 신호를 짧은 시간 프레임으로 나누어 STFT를 수행한 뒤 주파수 축을 멜 스케일로 재배치한 표현이다. 이 논문에서는 16 kHz 모노 파형에 STFT nFFT=2048과 hop=160 샘플을 적용해 100Hz 프레임레이트와 512 멜 빈을 생성하며, 모델 입력으로 사용되어 음높이·시간 정보를 모델에 전달한다.
분류기-프리 가이던스(Classifier-Free Guidance): — 모델에 조건을 주는 방식에서 조건을 무작위로 제거한 예시를 섞어 학습·추론 시 조건 유무의 차이를 활용해 샘플을 조정하는 기법이다. MuScriptor는 악기 조건과 스펙트로그램 조건에 대해 αCFG=2를 적용해 조건성 향상과 불안정성 완화를 동시에 달성했다.
동적 시간 왜곡(Dynamic Time Warping): — 두 시계열 간 비선형 시간 정렬을 찾는 알고리즘으로, 본 논문에서는 크로마와 온셋 특징을 사용해 악보와 오디오 간 정렬을 보정하고 품질이 낮은 매칭을 필터링하는 데 사용되었다. 정렬 품질 기준과 최대 시간 왜곡 비율을 적용해 실음원 데이터의 동기화를 확보했다.

MuScriptor: 멀티악기 음악 전사를 위한 오픈 모델

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드