방언을 언어처럼 조종할 수 있는가? 아랍어 LLM의 희소 뉴런과 분산 방향성

왜 중요한가

아랍어 다이얼렉트 데이터가 MSA에 비해 부족하여 LLM이 표준 아랍어 쪽으로 편향되는 문제는 실제 대화형 서비스의 지역성·정체성 표현을 저해한다. 본 연구는 파인튜닝 없이 추론 시점의 활성 조작만으로 방언적 출력을 유도하는 실용적 방법을 제시하여 비용 및 데이터 제약이 큰 환경에서 방언 적응의 대안을 제공한다. 또한 뉴런 단위와 레지듀얼 차원이라는 내부 표현의 기하학적 구조를 밝힘으로써 모델 내부에서 방언 정보가 어떻게 분포하는지에 대한 해석 가능성을 높였다.

핵심 기여

방언 연관 희소 뉴런의 식별과 추론시 재스케일링 적용

각 층의 MLP 뉴런에 대해 방언별 활성화 빈도로 정규화된 확률 분포와 LAPE(엔트로피)를 계산해 선택성이 높은 뉴런을 추출했고, 추출된 뉴런 집합에 대해 추론 중 활성값을 α 배율로 증폭하거나 MSA 관련 뉴런을 감쇄하는 방식으로 출력을 편향시켰다. 뉴런 선택은 상위 5% 활성 확률·하위 1% LAPE 퍼센타일을 기준으로 수행되었으며, 실험에서 지연된 생성층(말단 레이어)에 뉴런 기록이 집중됨이 관찰되었다. 이 접근은 희소하면서 해석 가능한 제어 점을 제공했으나 전체 레지듀얼 방향을 완전히 포착하지는 못했다.

대조적 평균 활성 차이로부터 계층별 스티어링 벡터 추출 및 삽입

MADAR 병렬 문장쌍을 이용해 각 층의 응답측 평균 은닉 상태 hℓ(s)를 추출하고 방언 문장과 MSA 문장 간 차이의 평균 vℓ = 평균(hℓ(dialect) − hℓ(MSA))을 계산해 스티어링 벡터를 구성했다. 추론 시 해당 층 활성에 α·vℓ을 더하는 전방 훅을 걸어 분산된 방언 신호를 주입하였으며, 이 방식은 파라미터 업데이트 없이 레지듀얼 공간 전체 방향을 직접 조작하는 효과를 냈다. 벡터 스티어링은 여러 층과 토큰 예산을 절단·조합하는 실험을 통해 안정성과 민감도를 평가했다.

뉴런 기반 제어와 벡터 기반 제어의 정량적·층위적 비교

ALLaM-7B(32층)와 Fanar-1-9B(42층)에 대해 층별, 계수별, 토큰 예산별 절단 실험을 수행해 두 기법의 동작 차이를 규명했다. 뉴런 집합은 말단 층에 농집되는 경향을 보였고 ALLaM에서는 층 29–31이 총 기록의 69.5%를 점유했으며 Fanar는 층 37–41에 분포가 집중되었다. 반면 벡터 스티어링은 모델별로 정보가 위치한 층대가 달라(Fanar 중간층, ALLaM 말단층) 보다 넓은 층역에서 안정적 제어를 제공했고, 잔차-부분공간 커버리지 분석에서 뉴런 집합이 분산 벡터의 일부분만을 설명함이 확인되었다.

자동화 지표(ADI2)와 LLM-심사·인간 평가를 통한 실사용성 검증

AL-QASIDA의 ADI2와 macro-ADI2, Gemini 2.5 Flash 기반 LLM-as-a-judge 및 인간 평가를 병행해 자동 지표와 지각 품질 간 괴리를 규명했다. 실험 결과 벡터 스티어링은 Fanar 전반과 ALLaM의 일부 방언에서 명확한 ADI2 향상과 함께 인간·LLM 심사에서 높은 방언 충실도를 달성했으나, 일부 설정에서 ADI2가 상승해도 응집성(coherence)이나 유창성은 떨어지는 경우가 관찰되었다. 이로써 단일한 자동 지표에 의존할 경우 실제 품질을 과대평가할 위험이 존재함이 드러났다.

핵심 아이디어 이해하기

Transformer 기반 LLM의 내부 표상은 토큰별로 흐르는 레지듀얼 활성과 층별 MLP 뉴런 활성이라는 두 가지 수준으로 구성되어 있고, 언어적 속성은 이들 공간에 여러 방식으로 인코딩될 수 있다. 기존 연구는 단일 뉴런이나 선형 활성 방향이 특정 속성을 포착할 수 있음을 보였지만, 아랍어 방언은 MSA와 높은 어휘·통사 유사성을 공유하므로 정보가 희소하게 국지화되기도 하고 분산된 방향으로 존재하기도 한다. 본 연구는 이 두 가능성을 모두 테스트해 방언 제어가 뉴런 재스케일링으로 일부 가능하나, 분산된 활성 차이를 직접 더하는 방식이 보다 일관성 있는 제어를 제공함을 경험적으로 확인했다.

방법론

연구는 두 가지 추론시 개입을 중심으로 구성되었다. 첫 번째는 LAPE 기반 뉴런 식별과 추론시 재스케일링으로, 각 층의 MLP 뉴런에 대해 방언별 활성화 확률 p̂^{k}{i,j}를 추정하고 이를 ℓ1 정규화한 뒤 엔트로피(LAPE)를 계산해 선택성이 낮은 뉴런을 선별했다. 그런 다음 상위 활성 퍼센타일과 하위 LAPE 퍼센타일을 결합해 방언 연관 뉴런 집합을 구성하고, 생성 단계에서 해당 뉴런의 활성 a{i,t,j}에 λ_{i,j} 곱을 적용하여 α로 증폭하거나 γ로 감쇄하는 방식으로 출력을 편향했다. 두 번째는 벡터 스티어링으로, MADAR 병렬 문장쌍에서 응답측 평균 은닉 상태 h^{ℓ}(s)를 추출해 방언과 MSA의 평균 차이 v^{k}{\ell}를 계산한 뒤 추론 시 층 ℓ의 활성에 α·v^{k}{\ell}를 더하는 전방 훅을 구현했다.

주요 결과

주요 실험은 ALLaM-7B-Instruct-preview(32층)와 Fanar-1-9B-Instruct(42층)를 대상으로 수행되었고, mono-dialect 프롬프트와 MSA 프롬프트 두 환경에서 평가가 진행되었다. 벡터 스티어링은 Fanar 전반과 ALLaM의 이집트·모로코 방언에서 ADI2 및 LLM-as-a-judge 점수에서 명확한 향상을 보였고, ALLaM의 경우 벡터 스티어링이 인간 평가에서도 높은 점수를 얻는 경우가 관찰되었다. 뉴런 스티어링은 무처리 대비 ADI2를 높였으나 LLM 심사나 인간 평가에서는 일관된 품질 향상을 보이지 않았고, 특히 MSA 프롬프트 환경에서는 뉴런 스티어링이 방언 유도를 전혀 성공시키지 못해 ADI2가 0에 수렴하는 사례가 관찰되었다. 층·계수·토큰 예산 절단을 통해 얻은 교훈으로는 모델별로 정보가 존재하는 층대가 달라(Fanar는 중간층 피크, ALLaM은 말단층 피크) 최적의 개입 위치와 강도를 모델별·방언별로 튜닝해야 한다는 점이 확인되었다.

기술 상세

뉴런 식별은 각 뉴런 j의 층 i에서 토큰 위치별 활성 act(i,j;s,t)에 대해 지표 p̂^{k}{i,j}=E{(s,t)∈T_{k}}[1{act(i,j;s,t)>0}]를 계산해 방언 k별 활성 확률 벡터 p_{i,j}를 얻는 것으로 시작된다. 이 벡터를 ℓ1로 정규화해 p'{i,j}를 구성한 뒤 LAPE{i,j}=-∑{k} p'^{k}{i,j} log p'^{k}_{i,j}로 엔트로피를 계산해 선택성(낮은 엔트로피)과 빈도(상위 퍼센타일) 기준으로 뉴런을 필터링했다. 예를 들어 상위 5% 활성 확률과 하위 1% LAPE를 결합하면 각 층에서 매우 드물지만 방언에 특이적인 뉴런 집합이 남는다.

한계점

논문은 두 개의 아랍어 중심 LLM과 일부 방언 집합에 대한 실험에 국한되어 결과의 일반화 가능성에 한계가 있다고 명시했다. 방언성 평가에서 자동 지표와 인간 지각 평가 간 괴리가 존재하며, 인간 평가는 주관성을 포함하므로 완전한 객관적 척도로 보기 어렵다. 또한 희소 뉴런과 분산된 잔차 벡터 간의 관계가 부분적으로만 규명되었고 이들 메커니즘의 정확한 인과적 연결은 향후 연구가 필요하다고 밝혔다.

실무 활용

본 연구의 추론시 개입 방식은 모델 파라미터를 고정한 채로 생성 출력을 지역 방언 방향으로 편향할 수 있어 파인튜닝 자원이 부족한 환경에서 실무적으로 유용하다. 특히 벡터 스티어링은 추출된 방향이 몇천 쌍의 병렬 예제로 안정화되어 여러 토큰에 걸쳐 지속적으로 주입하면 실사용 수준의 방언 충실도를 확보할 수 있다. 공개된 코드와 자료를 통해 같은 방법을 다른 방언이나 유사 언어 변종에 적용 가능하다.

지역화된 대화형 챗봇에서 사용자 입력 언어변종과 무관하게 출력 레지스터를 방언화해 지역 민감성을 높이는 용도
데이터가 부족한 방언에 대해 파인튜닝 없이 추론 수준에서 방언 특성을 보정해 서비스 배포 시간을 단축하는 용도
언어학적 연구에서 모델 내부의 방언 표현 분포를 조사하고 특정 사회언어학적 특성과의 상관관계를 탐색하는 용도

코드 공개 여부: 공개

코드 저장소 보기

키워드

neuron-level analysis(뉴런 수준 분석)vector steering(벡터 스티어링)dialect control(방언 제어)ADI2(방언 식별 지표)MADAR(병렬 방언 코퍼스)

추가 이미지 분석

Chart
그래프는 ALLaM이 Cairo와 Rabat 등에서 20% 수준의 잔차 서브스페이스 커버리지를 보인 반면 Fanar는 모든 방언에서 상대적으로 낮은 커버리지를 보였음을 수치로 나타낸다. 이 결과는 뉴런 집합이 분산 벡터의 일부만을 포착하는 한편 모델별로 커버리지 차이가 존재함을 정량적으로 입증한다.
잔차-부분공간 커버리지(Residual Projection Coverage)를 목표 방언별로 계산해 두 모델 간 비교한 막대 그래프이다.

용어 해설

LAPE(Localized Activation Probability Entropy)(LAPE): — 뉴런 선별을 위해 각 뉴런의 방언별 활성 확률 분포의 엔트로피를 계산해 선택성(selectivity)을 정량화하는 방법이다. 토큰별 활성화 빈도를 집계해 분포를 정규화한 뒤 엔트로피를 계산하여 낮은 값의 뉴런을 방언 특이 뉴런 후보로 추출한다. 이 값을 기준으로 상위 활성 확률과 하위 엔트로피 퍼센타일을 결합해 희소 뉴런 집합을 구성한다.
벡터 스티어링(Vector Steering): — 대조군(MSA)과 방언 쌍에서 응답측 평균 은닉 상태 차이를 계산해 얻은 방향 벡터를 추론 시 활성화에 더하는 방식이다. 각 층의 응답 토큰 평균 hℓ(s)를 이용해 vℓ = 평균(hℓ(dialect) − hℓ(MSA))를 산출하고 생성 중 해당 층 활성에 α·vℓ을 더해 방언 성향을 유도한다. 파인튜닝 없이 추론 단계에서 분산된 방언 정보를 주입해 출력 언어적 레지스터를 변화시킬 수 있다.
레지듀얼 스트림(Residual Stream): — Transformer 내부에서 토큰별 중간 표현이 흐르는 주된 벡터 경로로, 층간 가중합과 비선형 처리를 거친 후 다음 토큰 예측에 기여하는 활성화 공간이다. 본 연구는 이 경로에서 추출한 평균 응답 벡터의 차이를 방언 방향으로 해석하고 직접 더해 세대 출력을 제어했다. 레지듀얼 공간은 방언 신호가 분산되어 존재하는 주된 장소로 간주되었다.
ADI2(방언 식별 지표)(ADI2): — 응답이 방언적 여부와 특정 방언에 속할 확률을 곱하여 계산하는 지표로, MSA로의 편향과 다른 방언으로의 오분류를 동시에 벌점화한다. P(y is dialectal) × P(y is dialect C)로 정의되어 단일 응답의 방언 충실도를 정량화하며, 실험에서 자동화된 벤치마크(AL-QASIDA) 평가에 사용되었다. 지역 단위 집계 시 macro-ADI2를 통해 가까운 변종 간의 중첩을 보정한다.

방언을 언어처럼 조종할 수 있는가? 아랍어 LLM의 희소 뉴런과 분산 방향성

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

추가 이미지 분석

용어 해설

관련 토론

댓글

관련 기사

인공 신경망에서 나타난 상징 구조

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

인공 신경망에서 나타난 상징 구조