Splash: 소형 MLLM에서 마스크 격리로 촉각을 내장하고 시각-언어 능력을 보존하는 방법

시각만으로는 마찰력이나 강성 같은 물리적 특성을 정확히 추론하기 어려워 로봇 조작에 한계가 존재했다. Splash는 소형 MLLM 내부의 덜 중요한 파라미터만 재활용해 촉각 정보를 내장함으로써 추가 추론 비용 없이 촉각 기반 언어 추론 능력을 확보했다. 이 접근은 연산 제약이 큰 엣지 로봇 환경에서 감각 확장과 기존 지식 보존을 동시에 달성할 수 있음을 시사한다.

대형 언어 모델의 파라미터 공간에는 기능적으로 중요한 부분과 상대적으로 덜 사용되는 부분이 공존한다는 자연 희소성 가정이 출발점이다. 이 논문은 입력 활성화 통계와 가중치 크기를 결합한 시각 상대 중요도 지표로 각 파라미터의 VL 기여도를 수치화했다. 중요도가 낮은 파라미터를 휴면 서브스페이스로 간주하면 새로운 촉각 능력을 그 서브스페이스에만 할당해 기존 시각-언어 경로를 보존할 수 있다.

전체 아키텍처는 자연 이미지 프론트엔드, 촉각 프론트엔드(Imagenet-pretrained ViT-Tiny), 그리고 시퀀스 기반의 LLM으로 구성된다. 입력은 자연 이미지, 접촉 이미지, 텍스트 프롬프트를 토크나이저로 합쳐 단일 자기회귀 시퀀스로 처리되며 출력은 촉각 속성 서술이다. 휴면 서브스페이스 탐지는 소량의 VL 캘리브레이션 샘플로 각 선형 연결의 중요도를 계산한 뒤 층별 임계값으로 이진 마스크를 생성하는 절차로 이루어진다.

정량 평가에서 Splash -3B는 VTL 평균 점수 4.91을 기록하며 동일 백본에서 LoRA 기반 TVL(4.50)보다 높은 촉각-언어 성능을 보였다. VL 보존 측면에서는 Splash -3B가 MMMUval을 50.0에서 55.3으로, MathVista를 62.3에서 65.3으로 향상시키며 촉각 적응이 시각-언어 능력을 훼손하지 않음을 실증했다. 희소성 비율 실험에서 s=60%가 촉각 성능과 VL 보존 사이의 가장 좋은 균형을 제공함이 확인되었다.

파라미터 분할은 각 선형층의 연결별 점수 S_{i,j}=|W_{i,j}|·||x_i||_2로 정의되며, 층별 임계값 τ_j(s)를 정해 하위 s%의 점수를 휴면으로 표시한다. 마스크 M은 첫 번째와 마지막 트랜스포머 블록의 파라미터를 항상 동결하도록 설계하여 입력 접지와 고수준 표현을 보존한다. 학습은 촉각 프론트엔드의 모든 파라미터와 마스크로 허용된 LLM 휴면 파라미터만 업데이트하는 방식으로 진행되며 업데이트 식은 θ ← θ − η (M ⊙ ∇_θ L), ψ ← ψ − η ∇_ψ L로 수학적으로 표현된다.

현재 마스크 분할은 오프라인 캘리브레이션 단계에서 정적 마스크를 생성하는 방식이라 상호작용 상태에 따라 활성화 패턴이 변하는 장기적인 작업에서는 최적이 아닐 수 있다. 또한 실험은 DIGIT 센서 기반 데이터셋에 집중되어 있어 다른 유형의 촉각 센서로의 직접 전이성은 추가 검증이 필요하다. 논문은 동적 마스킹과 센서 간 일반화 연구를 향후 과제로 명시했다.