음운 활성화 매핑(SPAM)을 통한 음소 분할 및 인식

음소 분할과 인식은 임상 평가, 발음 교육, 멸종 언어 기록 등 여러 응용의 기초 데이터를 만든다. 전문 음성 전사 작업은 시간과 비용이 많이 들기 때문에 작은 라벨셋으로 신뢰할 수 있는 분할·인식을 얻을 수 있는 방법은 실무적 가치를 가진다. SPAM은 대규모 라벨 없이도 S3M이 이미 내장한 음운적 구조를 활용해 두 작업을 동시에 해결함으로써 저자원 언어와 비정형 음성에 대한 접근성을 높였다.

문제의 출발점은 S3M 표현 공간이 이미 음운적 구조를 선형적으로 포함하고 있다는 관찰이다. 개별 음운적 속성은 표현 공간에서 방향성으로 나타나며, 양집합과 여집합의 평균 차이를 통해 그 방향을 안정적으로 추정할 수 있다. 따라서 별도의 거대 지도학습 없이도 이러한 방향들을 이용해 음운 활성화를 시간 축으로 읽어낼 수 있다. SPAM은 각 프레임 표현을 음운 벡터들에 대해 정규화된 투사값으로 변환하여 T×|C| 크기의 활성화 맵을 만든다. 이 방식은 음소를 원자적 범주로 취급하는 대신 음운적 특성의 조합으로 음소를 표현하므로 새로운 음소도 PanPhon 특징 조합으로 즉시 구성할 수 있다. 결과적으로 인식기는 활성화와 PanPhon의 정규화 벡터 간의 유사도 최댓값을 선택하는 근접 탐색 방식으로 동작하며, 학습 없이도 언어 전반에서 합리적 예측을 내놓는다. 분할기는 인접 프레임 간 음운 활성화의 급변 지점을 경계 후보로 삼고 다중 스케일 차이와 과거 예측 대비(backward contrast), 멜 스펙트럼 기반 차이를 앙상블해 피크를 검출한다. 앙상블은 서로 다른 신호들이 경계에 동의할 때만 강하게 반응하도록 작동하여 잡음성 피크를 억제한다. 이러한 구조는 분할과 인식을 완전히 분리된 학습 문제로 취급하지 않고 동일한 음운 표상에서 판독하는 통합적 관점을 제공한다.

전체 접근 방식은 세 단계로 구성된다: 음운 벡터 추정, SPAM 활성화 맵 생성, 그리고 두 개의 경량 헤드를 이용한 분할·인식이다. 먼저 훈련 발화의 중심 프레임 중심풀링을 통해 각 음소의 대표 벡터를 얻고, PanPhon의 채널별 양집합과 그 여집합의 평균 차이로 각 음운 벡터를 추정한다. 이 벡터들은 채널마다 독립적으로 계산되어 이후 프레임 표현에 선형 투사된다. SPAM 생성은 각 프레임 표현 r_t와 음운 벡터 v_i 간의 내적을 채널별로 정규화해 m_{t,i} 값을 계산하는 과정을 포함한다. 정규화는 각 채널의 두 평균 투사값의 중간점과 차이를 이용해 수행되고 전체 스케일링 상수 γ는 실험적으로 고정(γ=4)되어 채널 간 비교 가능성을 확보한다. 이렇게 얻은 T×|C| 활성화 맵은 분할과 인식 헤드의 공통 입력으로 사용된다. 인식 헤드는 학습 파라미터 없이 PanPhon으로부터 미리 계산한 정규화된 음소 벡터 p_v들과 SPAM 중심 프레임의 시그모이드 활성화를 내적해 최댓값으로 음소를 선택한다. 분할 헤드는 δ1, δ2, δ3 같은 인접·다중스케일 SPAM 차이, β1–β3의 역대비교 신호, 그리고 멜 스펙트로그램 기반 차이를 포함하는 7개의 신호를 최소값 보정 후 곱해 합성 신호를 만들고 피크 검출로 경계를 찾는다. 침묵 채널을 이용해 무음 구간의 피크를 억제하고, 정점 검출 후에는 폐쇄·방출(closure/release) 표기를 원음소로 합치는 과정을 거친다.

분할 성능에서 SPAM은 TIMIT 기반으로 학습된 비교 방법들 중 평균 R-value에서 경쟁력 있는 성능을 보였고 특히 이형 도메인에서 강점을 보였다. 논문 표의 합산 결과에서 SPAM은 다양한 데이터셋을 평균한 R-value에서 72.0을 기록해 훈련 기반 베이스라인과 비교해 도메인 일반화성이 더 우수한 것으로 나타났다. 특히 SSNCE, TORGO, VoxAngeles, GTIMIT-Thai 같은 어려운 데이터셋에서 최상위 또는 근접 성능을 달성했다. 인식 성능은 PRiSM 벤치마크의 PFER 지표로 평가되었으며, SPAM은 학습 기반 CTC 및 FCE 방법보다 전반적으로 열세였지만 다언어 및 악센트가 강한 환경에서 상대적으로 안정적인 성능을 유지했다. PRiSM 결과에서 SPAM의 평균 PFER는 약 23.0(영어 어셈블리)로 보고되었고 다언어 평균에서는 28.9를 기록해 소량 라벨 환경에서 실용적인 성능을 보였다. 지상 진단 실험에서 분할을 완전 정답으로 대체하면 PFER가 절반 이하로 감소하는 등 분할기가 현재 성능 병목임이 확인되었다. 샘플 효율성 실험에서는 훈련 샘플을 점진적으로 줄여도 1/256(약 18문장)까지 성능 유지가 관찰되었고 1/1024까지도 제한적 열화만 발생했다. 이 결과는 음운 벡터 추정이 극도로 샘플 효율적임을 수치적으로 뒷받침하며, 대규모 전사 데이터가 없는 저자원 시나리오에서도 적용 가능함을 시사한다. 또한 계층 및 모델별 실험에서 WavLM-large의 최종 층이 음운 벡터 추출에 적합하여 SPAM의 성능을 끌어올림이 관찰되었다.

수식 1: 음운 벡터 추정 원문은 v_i = E_{s∈S_i}[r_{c(s)}] − E_{s∈S_i^⊂}[r_{c(s)}] 이며 기호는 각 항의 의미를 다음과 같이 갖는다. r_{c(s)}는 세그먼트 s의 중심 프레임에서 얻은 S3M 표현 벡터이고 S_i는 채널 i가 활성인 모든 세그먼트 집합, S_i^⊂는 그 여집합이다. 계산 흐름은 각 채널의 활성 세그먼트들에서 중심 프레임 표현을 평균해 μ_i를 얻고 활성 아닌 세그먼트 평균 μ_i^⊂을 뺀 값으로 방향 벡터 v_i를 만든다. 예를 들어 어떤 채널에서 μ_i와 μ_i^⊂의 차원이 동일하고 각 성분 차이가 양이면 그 채널 방향은 양(특징 존재) 쪽을 가리키며, 이 벡터를 이후 프레임 투사에 사용한다. 해석은 이 벡터가 표현 공간에서 해당 음운 속성의 선형 방향을 포착하며 샘플이 적어도 평균 차이로 안정적으로 추정된다는 점이다. 수식 2: SPAM 투사 원문은 m_{t,i} = (γ/λ_i)(r_t^T v_i − α_i) 이며 변수 의미는 다음과 같다. r_t는 t시점의 S3M 프레임 표현, v_i는 위에서 구한 음운 벡터, α_i는 두 집합의 평균 투사값의 중간점, λ_i는 두 평균 투사값의 차이다. 계산 흐름은 먼저 r_t^T v_i로 프레임의 원시 투사값을 얻고 α_i를 빼서 중심을 정한 뒤 λ_i로 나눠 채널별 스케일 차를 보정하고 γ(논문 전 실험에서 γ=4로 고정)로 전체 스케일을 맞춘다. 작은 수치 예시로 r_t^T v_i − α_i = 0.5, λ_i = 1.0, γ = 4이면 m_{t,i} = 4 × 0.5 = 2.0이 되고 이는 해당 채널의 활성화가 강함을 의미한다. 이 정규화는 서로 다른 채널들이 공통 범위에서 비교되도록 하여 인식 시 채널 간 가중치 편차를 줄인다. 인식 수학적 절차는 각 PanPhon 음소 v에 대해 미리 계산된 정규화 채널 벡터 p_v를 만들고 시그모이드를 적용한 SPAM 중심 프레임 활성화 σ(m_{c(s)})와의 내적을 최대화해 음소를 선택하는 방식으로 정리된다. 이 argmax 연산은 본질적으로 채널 공간에서의 코사인/내적 기반 근접 탐색과 동치이며 학습 파라미터가 없는 nearest-neighbor 매칭으로 구현된다. 분할기는 여러 신호들의 최소값 보정 후 곱(b(t)=∏_k(b_k(t)−φ_k))로 합성 신호를 구성해 모든 컴포넌트가 변화에 동의할 때만 강하게 반응하도록 설계되며, 피크 검출과 임계치 처리를 통해 경계를 반환한다. 구현 세부에서는 중심풀링(center pooling)을 사용해 각 음소의 대표 프레임을 선택했고 폐쇄/방출 표기는 후처리로 병합해 최종 음소 표기를 얻었다.

논문에서 명시한 제약으로는 S3M의 기본 프레임 레이트가 음소 경계의 미세 탐지에 다소 거칠 수 있어 고해상도 리샘플링이 필요할 수 있다는 점이 있다. 분할 성능이 전체 시스템의 병목으로 지적되었으며, 지상 정답 세그먼트로 교체할 경우 인식 오류가 크게 줄어드는 것이 관찰되어 분할기의 추가 개선이 필요하다. 또한 현재 음운 특징 가중치는 균등 처리되어 있고 end-to-end 미세조정은 아직 수행되지 않아 학습 기반 확장이 필요한 작업에서는 성능 한계가 존재할 수 있다.