더 많은 맥락, 더 큰 모델, 또는 도덕 지식? 정치 텍스트에서 Schwartz 가치 탐지에 대한 체계적 연구

정치 텍스트에서 가치 탐지는 암시적 신호와 논증 의맥에 의존하는 경우가 많아 어려움이 크다. 본 연구는 문서 맥락(문장/윈도우/문서)과 외부 도덕 지식의 활용이 Schwartz 가치 탐지에 미치는 영향을 모델 계열, 규모, 융합 방식과 함께 체계적으로 비교한다. 이를 통해 어떤 설정이 어떤 가치에 더 유리한지 가치별로 분석하고, 실무 적용 시의 설계 가이드를 제시한다.

단락 1) 문제 정의: Schwartz 가치 분류는 문맥 의존성과 암시적 표현으로 인해 단일 문장만으로는 결정하기 어려운 경우가 많다. 19개 가치의 세분화는 미세한 구분에 민감하고, 동일한 문장이 서로 다른 가치 프레임으로 해석될 수 있다. 단락 2) 해결 원리: 문맥을 확장하는 방법(문장/윈도우/문서)과 외부 도덕 지식의 검색 보강을 조합해 가치 경계의 모호함을 줄이고, 서로 다른 융합 아키텍처(초기/후기/교차 주의)의 효과를 비교한다. 단락 3) 달라지는 점: 감독 학습 인코더가 맥락-기반 정보를 활용할 때 가장 뚜렷한 이익을 얻고, LLM의 제로샷 성능은 맥락 확장만으로는 크게 개선되지 않는다. 지식 보강은 일관된 이득을 보이나 모델 계열 및 입력 형식에 따라 효과가 달라진다. 이를 통해 맥락-지식-모델 가계도에 따라 서로 다른 조건에서의 최적 구성을 제시한다.

1. 데이터: ValuesML/Touché24-ValueEval 포맷의 데이터에서 19개 Schwartz 가치 레이블을 다중 라벨로 예측. 2) 컨텍스트 조건: sentence, window, document. 3) 지식 KB: 정의/가이드라인/이론으로 구성된 58개 조각. 4) 모델: DeBERTa-v3-base/large(감독 학습) 및 Gemma/Qwen/Mistral(제로샷 LLM). 5) RAG 아키텍처: No-RAG, Early fusion, Late fusion, Cross-attention. 6) 평가: macro-F1를 주지표로, Seed 3개에 대한 평균/표준편차, 샘플링 신뢰도. 7) 재현성: 103 GPU-시간 규모의 실험과 예측 파일 공개.

1. RQ1: 문서 맥락은 감독 인코더에서 성능을 향상시키나 제로샷 LLM은 일관되게 개선되지 않음. DeBERTa-base의 문서 맥락 macro-F1은 0.285로 sentence 0.237 대비 향상. DeBERTa-large의 경우 문서 맥락이 큰 폭의 이득을 주지만 윈도우 맥락은 불안정. 2) RQ2: KB 보강은 평균적으로 매크로-F1에 일정한 상승(0.014~0.036)을 주며, 모델 규모에 따른 영향에 차이가 있음. 3) RQ3: 초기 융합이 대개 최적, 문서 RAG에서 DeBERTa-base의 최고 성능은 0.314, 대형 모델은 0.294에 그침. 대형 LLM은 SHORT-context에서 주로 우수, 그러나 전체적으로 감독 인코더를 능가하진 못함. 4) RQ4: 문서 맥락은 HEDONISM, FACE, TRADITION에서 크게 도움이 되며, KB는 BENEVOLENCE: CARING, STIMULATION, FACE, SECURITY: PERSONAL, UNIVERSALISM: TOLERANCE의 경계 판단에 도움이 됨. 희귀 가치(HUMILITY 등)에서 여전히 어려움.

1. 입력 구성: sentence/window/document 맥락으로 target sentence를 둘러싼 정보 제공. 2) KB: all-MiniLM-L6-v2 임베딩으로 58개 챙 텍스트를 FAISS로 인덱싱, top-k=2 검색. 3) 인코더: DeBERTa-v3-base/large, sigmoid 출력의 19-way 멀티레이블 분류. 임계값은 validation에서 0.18로 고정. 4) Fusion: No-RAG, Early fusion은 텍스트에 KB를 연결, Late fusion은 문맥 벡터와 KB 벡터를 평균-결합, Cross-attention은 문맥 벡터와 KB 벡터 간 교차 어텐션. 5) zero-shot LLM: Gemma-3-12B-it, Qwen2.5-72B-Instruct, Mistral-Large-Instruct-2407로 프롬프트 템플릿 구성. 6) 평가: macro-F1를 주 지표로 삼고, 섹드 부트스트랩/퍼뮤테이션 테스트로 유의성 확인. 7) 재현성: 공개 아티팩트 및 설정 포함.

한계점은 한 벤치마크와 영어 데이터에 한정되며, 다국어 및 다른 도메인으로의 일반화 가능성은 남아 있다. KB를 고정 Top-k로 구성해 각각의 모델/컨텍스트 조건에 최적화되지는 않았다. 대형 LLM의 제로샷 성능은 제한적이며, 라벨 정의의 개선이나 소수-shot 학습이 성능에 영향을 줄 수 있다. Late Fusion/Cross-attention의 최적화가 충분히 이루어지지 않았을 수 있다.