MuSViT: 악보 표현을 위한 파운데이션 비전 모델

MuSViT는 대규모 비지도 사전학습으로부터 얻은 재사용 가능한 악보 표현을 제공하므로 실무에서 전사·검색·기호 인식 파이프라인의 초기화에 활용하기 적합하다. 공개된 모델과 코드로 연구자는 MuSViT를 다운스트림 작업의 백본으로 활용하거나 경량 변형을 통해 리소스 제약 환경에 적용할 수 있다. 합성 데이터 예열과 흔치 않은 전처리(패치 크기, 2D PE) 설계가 구현 시 성능 안정성 확보에 중요하다.

• 대규모 악보 아카이브의 이미지 기반 전사 파이프라인 초기화 및 성능 향상
• 악보 내 기호 검출을 통한 구조화된 메타데이터 자동 생성
• 악보 난이도 분류를 활용한 교육용 레퍼토리 추천 시스템 구축
• 소형 모델로의 전이나 LoRA 같은 파라미터 효율적 적응을 통한 온디바이스 적용

코드 공개 여부: 공개

Masked Autoencoders

— 입력 이미지의 일부 패치를 무작위로 가린 뒤 가려진 픽셀을 재구성하도록 학습하는 자기지도 학습 기법이다. 가려진 영역을 복원하려면 모델이 국소 기호와 전역 문맥을 모두 추론해야 하므로 악보처럼 구조적 기호가 많은 도메인에서 시맨틱한 표현을 획득하는 데 유리하다. 본문에서는 MAE의 비대칭 인코더·디코더 구조와 높은 마스킹 비율이 악보 언어 학습에 적합하다고 보고되었다.

Vision Transformer

— 이미지를 P×P 패치로 분할해 각 패치를 토큰으로 처리하는 Transformer 기반 비전 인코더 구조이다. 패치 임베딩과 위치인코딩, self-attention 계층을 통해 전역적 문맥을 모델링하며 본문에서는 ViT encoder(12층, d=768)가 기본 아키텍처로 사용되었다. 악보에서는 작은 기호가 많아 미세한 패치 크기와 2D 위치 인코딩이 중요하다.

2D Positional Encoding

— 각 패치의 수직 및 수평 위치를 명시적으로 코드화하는 위치 인코딩 방식이다. 악보의 경우 수직 위치가 음높이(pitch)를 직접적으로 결정하므로 2D PE는 음표의 수직적 배치를 인코딩해 모델이 스태프 위치 정보를 바로 활용하게 만든다. 본문에서는 2D PE가 1D PE보다 악보 기호 인식에 유리하다고 보고되었다.

Curriculum Learning

— 학습을 난이도 순으로 구성해 초기에는 단순한 합성 데이터로 가중치를 안정화하고 이후 고난이도 실제 데이터로 전이하는 학습 전략이다. 본문에서는 DeepScoresV2로 50% 마스킹으로 예열한 뒤 IMSLP 전체로 70% 마스킹을 적용하는 두 단계 커리큘럼이 수렴 안정화와 표현 질 향상에 필수라고 보고되었다. 커리큘럼은 고차원 표현의 붕괴를 방지하는 역할을 했다.