MuScriptor: 멀티악기 음악 전사를 위한 오픈 모델

다중 악기 전사는 서로 겹치는 음색과 주파수 대역 때문에 기존 단일 악기 전사 기법으로는 실음원에서 신뢰할 만한 결과를 얻기 어렵다. MuScriptor는 대규모 합성 MIDI로 사전학습한 뒤 11k시간에 달하는 실제 정렬 주석 데이터로 미세조정하고 소량의 고품질 샘플로 강화학습을 수행해 실음원에서의 도메인 갭을 줄였다. 이로 인해 연구자와 음악가가 실전 음원에 적용 가능한 범용 전사 모델을 이용할 수 있게 되었다.

다중 악기 전사는 시간-주파수 도메인에서 서로 다른 악기가 동시다발적으로 소리를 내는 문제로, 음높이·온셋·지속시간 정보를 동시에 모델링해야 한다. 기존의 프레임 기반 분류 접근은 악기 수와 시퀀스 길이가 늘어날수록 희소성과 계산 비용으로 한계가 발생하며, 합성 데이터로 학습한 모델은 실제 음향 효과와 프로덕션 차이에서 도메인 갭을 보였다. MuScriptor는 이러한 문제에 대응하기 위해 시계열 생성 문제를 토큰화한 MIDI 유사 이벤트 예측으로 전환하고, 스펙트로그램 입력을 디코더 전용 Transformer로 받아 토큰 시퀀스를 자율회귀적으로 출력한다.

데이터 측면에서 합성 데이터 파이프라인은 약 1.45M MIDI를 기반으로 동적 증강을 수행했다. 각 MIDI에서 임의 구간을 샘플링하고 피치 쉬프팅·템포 변환·벨로시티 조정·악기 랜덤화 등 기호 수준 증강을 적용한 뒤 250개 이상의 사운드폰트를 랜덤 선택해 합성하고 무작위 디튠을 추가하여 학습 중 무한 변형을 생성했다. 실제 데이터는 오디오-심볼 정렬을 통해 확보한 170k 트랙(약 11k 시간)으로, 바 라인 보간과 크로마·온셋 기반 동적 시간 왜곡을 조합해 정렬을 수행하고 품질 임계값과 최대 시간 팽창 비율을 적용해 불량 쌍을 제거했다.

단계별 실험에서 합성 데이터만으로도 frame F1에서는 경쟁력 있는 성능을 보였으나 note-level(onset/offset)과 multi-instrument 지표에서는 실데이터 미세조정이 필수였다. 실데이터로 파인튜닝하면 모든 지표가 대략 20포인트 내외로 상승했으며, 이후 300곡의 고품질 데이터로 강화학습을 수행하면 최종적으로 onset F1 60.4, frame F1 73.3, offset F1 49.0, multi F1 48.2를 달성했다. 모델 크기와 입력 표현 관련 실험에서 대형 모델(1.3B)이 소형 모델보다 일관되게 우수했고, mel-spectrogram 입력이 CQT·Encodec·MERT보다 더 나은 결과를 냈다.

모델은 decoder-only Transformer 구조로 네 가지 크기(60M, 100M, 300M, 1.3B)를 실험했으며 각 크기는 self-attention 헤드 수, 레이어 깊이, 잠재 차원으로 구분되었다. 입력은 5초 길이의 멜-스펙트로그램(16 kHz, nFFT=2048, hop=160으로 프레임레이트 100Hz, 512 멜 빈)과 트랙 단위 악기 리스트 임베딩을 병렬로 투입해 임베딩 시퀀스를 접두사로 연결하는 방식으로 처리했다. 정답 토큰은 MT3 스타일의 토크나이즈 방식을 따르되 128 MIDI 악기를 MT3_FULL_PLUS 분류에 따라 36개 군으로 매핑해 악기 조건화와 타겟 레이블을 통일했다.

현행 토크나이저 설계는 동일 악기·동일 음고에서 동시 다발 음을 허용하지 않으며, 이 때문에 동일 피치·동일 악기에 중첩되는 짧은 음을 평가에서 제거하지 않으면 성능 지표가 크게 하락한다. 합성 데이터만으로는 온셋·오프셋 정밀도가 부족해 실제 녹음에서의 도메인 갭을 완전히 해소하지 못하며, 고품질 정렬 주석 확보가 모델 성능에 중요한 영향을 미친다. 논문은 악기 어휘 확장과 동시 음 활동 표현, 그리고 세그먼트 길이 확장을 향후 과제로 명시했다.