방언을 언어처럼 조종할 수 있는가? 아랍어 LLM의 희소 뉴런과 분산 방향성

아랍어 다이얼렉트 데이터가 MSA에 비해 부족하여 LLM이 표준 아랍어 쪽으로 편향되는 문제는 실제 대화형 서비스의 지역성·정체성 표현을 저해한다. 본 연구는 파인튜닝 없이 추론 시점의 활성 조작만으로 방언적 출력을 유도하는 실용적 방법을 제시하여 비용 및 데이터 제약이 큰 환경에서 방언 적응의 대안을 제공한다. 또한 뉴런 단위와 레지듀얼 차원이라는 내부 표현의 기하학적 구조를 밝힘으로써 모델 내부에서 방언 정보가 어떻게 분포하는지에 대한 해석 가능성을 높였다.

Transformer 기반 LLM의 내부 표상은 토큰별로 흐르는 레지듀얼 활성과 층별 MLP 뉴런 활성이라는 두 가지 수준으로 구성되어 있고, 언어적 속성은 이들 공간에 여러 방식으로 인코딩될 수 있다. 기존 연구는 단일 뉴런이나 선형 활성 방향이 특정 속성을 포착할 수 있음을 보였지만, 아랍어 방언은 MSA와 높은 어휘·통사 유사성을 공유하므로 정보가 희소하게 국지화되기도 하고 분산된 방향으로 존재하기도 한다. 본 연구는 이 두 가능성을 모두 테스트해 방언 제어가 뉴런 재스케일링으로 일부 가능하나, 분산된 활성 차이를 직접 더하는 방식이 보다 일관성 있는 제어를 제공함을 경험적으로 확인했다.

연구는 두 가지 추론시 개입을 중심으로 구성되었다. 첫 번째는 LAPE 기반 뉴런 식별과 추론시 재스케일링으로, 각 층의 MLP 뉴런에 대해 방언별 활성화 확률 p̂^{k}{i,j}를 추정하고 이를 ℓ1 정규화한 뒤 엔트로피(LAPE)를 계산해 선택성이 낮은 뉴런을 선별했다. 그런 다음 상위 활성 퍼센타일과 하위 LAPE 퍼센타일을 결합해 방언 연관 뉴런 집합을 구성하고, 생성 단계에서 해당 뉴런의 활성 a{i,t,j}에 λ_{i,j} 곱을 적용하여 α로 증폭하거나 γ로 감쇄하는 방식으로 출력을 편향했다. 두 번째는 벡터 스티어링으로, MADAR 병렬 문장쌍에서 응답측 평균 은닉 상태 h^{ℓ}(s)를 추출해 방언과 MSA의 평균 차이 v^{k}{\ell}를 계산한 뒤 추론 시 층 ℓ의 활성에 α·v^{k}{\ell}를 더하는 전방 훅을 구현했다.

주요 실험은 ALLaM-7B-Instruct-preview(32층)와 Fanar-1-9B-Instruct(42층)를 대상으로 수행되었고, mono-dialect 프롬프트와 MSA 프롬프트 두 환경에서 평가가 진행되었다. 벡터 스티어링은 Fanar 전반과 ALLaM의 이집트·모로코 방언에서 ADI2 및 LLM-as-a-judge 점수에서 명확한 향상을 보였고, ALLaM의 경우 벡터 스티어링이 인간 평가에서도 높은 점수를 얻는 경우가 관찰되었다. 뉴런 스티어링은 무처리 대비 ADI2를 높였으나 LLM 심사나 인간 평가에서는 일관된 품질 향상을 보이지 않았고, 특히 MSA 프롬프트 환경에서는 뉴런 스티어링이 방언 유도를 전혀 성공시키지 못해 ADI2가 0에 수렴하는 사례가 관찰되었다. 층·계수·토큰 예산 절단을 통해 얻은 교훈으로는 모델별로 정보가 존재하는 층대가 달라(Fanar는 중간층 피크, ALLaM은 말단층 피크) 최적의 개입 위치와 강도를 모델별·방언별로 튜닝해야 한다는 점이 확인되었다.

뉴런 식별은 각 뉴런 j의 층 i에서 토큰 위치별 활성 act(i,j;s,t)에 대해 지표 p̂^{k}{i,j}=E{(s,t)∈T_{k}}[1{act(i,j;s,t)>0}]를 계산해 방언 k별 활성 확률 벡터 p_{i,j}를 얻는 것으로 시작된다. 이 벡터를 ℓ1로 정규화해 p'{i,j}를 구성한 뒤 LAPE{i,j}=-∑{k} p'^{k}{i,j} log p'^{k}_{i,j}로 엔트로피를 계산해 선택성(낮은 엔트로피)과 빈도(상위 퍼센타일) 기준으로 뉴런을 필터링했다. 예를 들어 상위 5% 활성 확률과 하위 1% LAPE를 결합하면 각 층에서 매우 드물지만 방언에 특이적인 뉴런 집합이 남는다.

논문은 두 개의 아랍어 중심 LLM과 일부 방언 집합에 대한 실험에 국한되어 결과의 일반화 가능성에 한계가 있다고 명시했다. 방언성 평가에서 자동 지표와 인간 지각 평가 간 괴리가 존재하며, 인간 평가는 주관성을 포함하므로 완전한 객관적 척도로 보기 어렵다. 또한 희소 뉴런과 분산된 잔차 벡터 간의 관계가 부분적으로만 규명되었고 이들 메커니즘의 정확한 인과적 연결은 향후 연구가 필요하다고 밝혔다.