어트랙터 다이내믹스 기반 NLI 시스템 'Livnium' v3 공개

실용적 조언

NLI 성능 향상을 위해 Bi-encoder 대신 Cross-encoder 구조를 채택하고 [CLS] 토큰과 [SEP] 토큰을 활용한 공동 인코딩 방식을 적용할 것
모델의 예측 신뢰도를 검증하기 위해 마지막 레이어의 교차 어텐션 분산 정도를 측정하는 발산 지표(D)를 활용할 수 있음

섹션별 상세

Livnium v3는 BERT 기반의 Cross-encoder 구조를 도입하여 SNLI 데이터셋에서 기존 82.2%에서 84.5%로 성능을 향상시켰다. 전제와 가설을 별도로 인코딩하는 대신 [CLS] 토큰과 함께 결합하여 입력함으로써 모델이 두 문장 간의 상호작용을 직접 학습하도록 설계했다. 이 방식은 어트랙터 엔진이 작동하기 전 토큰 간의 직접적인 어텐션을 가능하게 하여 추론의 정확도를 높였다.

모델의 마지막 레이어에서 교차 어텐션 블록을 추출하여 토큰 수준의 정렬 맵을 생성하는 기능을 추가했다. 전제 토큰 행과 가설 토큰 열로 구성된 행렬을 정규화하여 특정 단어가 어떤 단어에 의해 '끌어당겨지는지' 시각화한다. 'cat'이 'animal'로 정렬되는 수치(0.61)를 직접 확인하며 모델의 판단 근거를 사후 해석이 아닌 구조적 데이터로 제시한다.

예측의 신뢰도를 평가하기 위한 지표로 정렬 발산(D)을 정의하여 모델의 불확실성을 감지한다. 발산 수치가 낮으면 예측이 견고하고 근거가 확실함을 의미하며, 수치가 높으면 어텐션이 분산되어 예측을 신뢰하기 어렵다는 신호로 활용한다. 높은 확신도를 보인 사례에서도 발산 지표를 통해 구조적 근거가 부족한 '불안정한' 예측을 성공적으로 식별해냈다.

어트랙터 붕괴 수학 모델을 활용해 베이지안 몬티 홀 문제를 정확하게 재현하는 사례를 제시했다. 3차원 직교 앵커를 설정하고 균등 사전 확률에서 시작하여 호스트의 우도 가중치를 주입하는 방식으로 사후 확률을 계산한다. 단순한 정보 제거 방식이 범하는 오류를 극복하고 수학적으로 정확한 결과를 도출함을 입증했다.

용어 해설

자연어 추론(Natural Language Inference): — 두 문장 사이의 논리적 관계(함의, 모순, 중립)를 판별하는 자연어 처리 작업으로, 모델의 논리적 이해 능력을 평가하는 핵심 지표이다.
어트랙터 다이내믹스(Attractor Dynamics): — 시스템의 상태가 특정 평형점(어트랙터)으로 수렴하는 물리적 현상을 모사한 수학적 모델로, 여기서는 텍스트의 의미적 결합을 물리적 붕괴 과정으로 처리한다.
교차 인코더(Cross-encoder): — 두 입력을 동시에 모델에 넣어 모든 토큰 간의 상호작용을 계산하는 방식으로, 개별 인코딩 후 비교하는 Bi-encoder보다 정확도가 높지만 연산 비용이 크다.
교차 어텐션(Cross-attention): — 서로 다른 두 시퀀스(예: 전제와 가설) 간의 관련성을 계산하는 메커니즘으로, 한 시퀀스의 정보가 다른 시퀀스의 어떤 부분에 집중해야 하는지 결정한다.
스탠퍼드 자연어 추론 데이터셋(SNLI): — 57만 개의 문장 쌍으로 구성된 대규모 데이터셋으로, AI 모델의 자연어 추론 성능을 측정하는 표준 벤치마크로 널리 사용된다.

언급된 도구

BERT추천

문장 인코딩 및 어텐션 계산

Livnium추천

어트랙터 다이내믹스 기반 NLI 시스템

언급된 리소스

논문Livnium Paper (Zenodo)

GitHubLivnium GitHub Repository

DemoLivnium Weights (Hugging Face)