촉각을 통한 시각화: 재질 영역의 촉각 기반 시각적 국소화

인간이 물체를 만졌을 때의 느낌을 시각적 정보와 연결하는 능력을 AI로 구현하여, 촉각 신호만으로 이미지 내에서 동일한 재질을 가진 영역을 정확히 찾아낼 수 있다. 이는 로봇의 물체 조작이나 재활용 분류 등 시각과 촉각의 통합이 필요한 실제 환경에서 AI의 판단 능력을 크게 향상시킨다.

기존의 시각-촉각 학습은 이미지 전체와 촉각 신호 하나를 매칭하는 'Global Alignment' 방식에 의존했다. 이는 이미지 안에 어떤 재질이 있는지는 알 수 있지만, 그 재질이 이미지의 '어느 부분'에 위치하는지 파악하는 국소화(Localization) 능력은 부족하다는 한계가 있다.

이 문제를 해결하기 위해 본 논문은 이미지의 각 픽셀 위치에 해당하는 특징(Feature)들과 촉각 신호의 특징을 직접 비교하는 방식을 채택했다. 이미지 인코더를 통해 생성된 HxW 크기의 특징 맵과 촉각 인코더에서 나온 특징 벡터 사이의 유사도를 모든 위치에서 계산하여 '촉각 살리언시 맵(Tactile Saliency Map)'을 생성한다.

특히 촉각 데이터는 센서를 누르기 시작하거나 뗄 때 신호가 매우 약해지는 특성이 있는데, 이를 극복하기 위해 '재질 다양성 기반 페어링'을 도입했다. 이는 같은 재질이라면 겉모습이 조금 다르더라도 동일한 촉각 경험을 제공한다는 점을 이용해, 하나의 촉각 샘플을 여러 장의 다양한 이미지와 연결하여 학습시킴으로써 모델이 재질의 본질적인 시각적 특징을 더 잘 파악하게 만든다.

전체 아키텍처는 시각 인코더(Vision Encoder)와 촉각 인코더(Tactile Encoder)로 구성되며, 두 인코더 모두 DINOv3 Small 모델을 백본으로 사용한다. 각 백본 뒤에는 Channel-wise LayerNorm과 1x1 Convolution 레이어로 구성된 Aligner 모듈을 추가하여 두 모달리티의 특징을 공유된 표현 공간으로 매핑한다.

유사도 계산을 위해 먼저 촉각 특징 맵 ft를 공간적으로 평균 내어 1차원 벡터 f_t_bar를 생성한다. [ft ∈ R^C×H×W → 공간 평균 연산 → f_t_bar ∈ R^C]. 그 후 시각 특징 맵 fv의 각 위치 [h, w]에 있는 벡터와 f_t_bar 사이의 내적(Inner Product)을 계산하여 유사도 맵 M을 얻는다. [f_t_bar · fv[h, w] → 내적 연산 → M[h, w]]. 이 결과값은 특정 촉각 입력이 이미지의 각 영역과 얼마나 일치하는지를 나타내는 점수가 된다.

학습은 대조 학습(Contrastive Learning) 목적 함수를 사용하며, 동일한 재질 인스턴스 내의 페어뿐만 아니라 동일 카테고리의 다른 인스턴스(In-domain), 그리고 웹에서 수집한 이미지(Out-domain)를 양성 샘플로 활용하는 커리큘럼 학습 전략을 적용했다. 이를 통해 모델은 단순한 시각적 일치를 넘어 재질의 의미론적 유사성을 학습한다.

TG-Test, Web-Material, OpenSurfaces 세 가지 벤치마크에서 실험을 진행했다. 제안된 STT 모델은 Web-Material 데이터셋에서 60.94 mIoU를 기록하며, 기존 최신 기술인 TVL(32.16 mIoU) 대비 약 2배에 가까운 성능 향상을 보였다.

Ablation Study를 통해 재질 다양성 기반 페어링의 효과를 검증했다. 이 전략을 적용했을 때 Web-Material에서 mIoU가 52.34에서 60.94로 크게 상승했으며, 특히 센서 접촉 초기나 종료 시점의 약한 촉각 신호(Start/End frames)에 대한 국소화 성능이 비약적으로 개선됨을 확인했다.

대화형 국소화(Interactive Localization) 테스트에서도 우수한 성과를 거두었다. 한 이미지 내에 여러 재질이 섞여 있을 때, 입력되는 촉각 신호가 바뀌면 모델이 가리키는 영역도 그에 맞춰 정확하게 이동하는 능력을 입증했다(IIoU 37.0 기록).

STT 아키텍처는 DINOv3를 기반으로 하며, 학습 시 시각 백본은 고정(freeze)하고 촉각 백본과 두 모달리티의 Aligner만 최적화한다. 이는 DINOv3가 이미 보유한 강력한 시각적 특징 추출 능력을 보존하면서 촉각 신호를 이에 정렬시키기 위함이다.

수학적으로 유사도 맵 M의 각 원소는 쿼리(촉각)와 키(시각 픽셀) 사이의 코사인 유사도와 유사한 역할을 수행하며, 최종 유사도 점수 s(ft, fv)는 M의 최댓값으로 정의된다. [max(M) → 스칼라 값 → 이미지-촉각 쌍의 전체 유사도 점수].

데이터셋 구축 시 LLM을 활용하여 재질 카테고리별로 풍부한 컨텍스트 쿼리를 생성하고(예: '거실의 벽돌 굴뚝'), 이를 통해 수집된 이미지들을 CLIP 점수 기반으로 필터링하여 고품질의 학습 데이터를 확보했다. 이는 기존 데이터셋의 낮은 시각적 다양성 문제를 해결하는 핵심적인 엔지니어링 기여이다.

유리컵과 같이 배경이 투명하게 비치는 물체의 경우, 배경의 질감이 강하게 드러나면 세그멘테이션 오류가 발생할 수 있다. 또한, 콘크리트 위에 그려진 로고나 페인트처럼 시각적으로 강한 색상/에지 신호가 실제 재질의 특징을 가리는 경우에도 국소화에 어려움을 겪는다.