SHARE: 연구 및 교육을 위한 사회과학 및 인문학 AI

기존 대형 언어 모델들이 STEM 분야에 치중되어 사회과학 및 인문학(SSH) 분야의 비판적 사고를 저해할 수 있다는 우려를 해결하기 위해 개발되었다. SSH 데이터로만 사전 학습된 SHARE 모델은 범용 모델보다 훨씬 적은 자원으로도 해당 분야의 맥락을 정확히 이해하며, 텍스트를 생성하는 대신 '예상치 못한 요소'를 찾아내어 연구자의 통찰을 돕는 새로운 인터페이스를 제공한다.

기존 LLM은 인터넷의 방대한 데이터를 학습하여 '가장 그럴듯한' 다음 단어를 예측하도록 설계되었다. 이는 일반적인 대화에는 유용하지만, 독창성과 비판적 사고가 핵심인 사회과학 및 인문학(SSH) 분야에서는 오히려 상투적인 표현을 양산하고 연구자의 사고를 제한하는 부작용을 낳는다. Transformer 아키텍처의 핵심인 다음 토큰 예측 확률 분포를 '생성'이 아닌 '검증'의 도구로 전환하는 것이 이 논문의 핵심 아이디어이다.

연구진은 SSH 분야의 학술 논문, 도서, 백과사전 데이터로만 모델을 학습시켜 해당 분야의 '기대치(Expectation)'를 모델링했다. 모델이 특정 문맥에서 다음 단어가 나올 확률을 계산할 때, 실제 작성된 단어의 확률이 낮다면 이는 모델의 기대에서 벗어난 '의외성(Surprisal)'이 높은 지점이 된다. 이 지점은 단순한 오타일 수도 있지만, 기존 통념을 깨는 혁신적인 아이디어나 새로운 이론적 접근일 가능성이 높다.

결과적으로 SHARE 모델은 연구자에게 정답을 제시하는 대신, 연구자의 글에서 어디가 독특하고 어디가 전형적인지를 보여주는 거울 역할을 한다. 이를 통해 인공지능이 인간의 창의성을 대체하는 것이 아니라, 인간이 자신의 사고 과정을 객관화하여 더 깊은 통찰에 도달하도록 돕는 도구로 기능하게 된다.

SHARE 모델은 Microsoft의 Phi-4 아키텍처를 기반으로 하는 Decoder-only Transformer 구조를 채택했다. 3.9B(SHARE-4B)와 14B(SHARE-14B) 두 가지 크기로 제작되었으며, SSH 특화 데이터셋에 최적화된 50,000개 규모의 커스텀 BPE Tokenizer를 사용했다. 학습 데이터는 Wikipedia, Project Gutenberg, PeS2o, CORE 등에서 SSH 관련 문헌만을 필터링하여 구성했다.

MIRROR 인터페이스는 기대 위반 이론(Expectancy Violation Theory)을 수학적으로 구현했다. 입력 텍스트의 각 토큰 $x_t$에 대해 모델이 예측한 확률 $p(x_t | x_{<t})$를 기반으로 정보량인 Surprisal $S_t = -\log p(x_t | x_{<t})$를 계산한다. [입력된 텍스트 토큰을 모델에 넣어] → [해당 위치에서 그 단어가 나타날 확률의 음의 로그값을 취해] → [의외성 수치를 얻고] → [이 값이 높을수록 모델이 예상하지 못한 단어임을 의미한다].

단순한 Surprisal 값은 문맥에 따라 변동이 심하므로, 이를 표준화하기 위해 Z-score를 도입했다. 각 시점의 엔트로피 $H_t$와 Surprisal의 표준편차 $\sigma_t$를 사용하여 $Z_t = (S_t - H_t) / \sigma_t$를 계산한다. [현재 문맥에서 가능한 모든 단어의 확률 분포를 통해 평균적인 불확실성을 측정하고] → [실제 단어의 의외성에서 이 평균을 뺀 뒤 표준편차로 나누어] → [상대적인 척도인 Z-score를 산출하고] → [이 점수가 높은 토큰을 히트맵으로 시각화하여 사용자에게 알린다].

SHARE-14B 모델은 960억 개의 토큰으로만 학습되었음에도 불구하고, 약 10조 개의 토큰으로 학습된 범용 모델 Phi-4(14B)와 SSH Cloze 벤치마크에서 대등한 성능을 기록했다. 구체적으로 SHARE-14B는 79.6%의 정확도를 보여 Phi-4의 81.8%에 근접했으며, 이는 학습 데이터 효율성 측면에서 약 100배의 이득을 얻었음을 시사한다.

분야별 Perplexity 분석 결과, SHARE 모델은 예술, 교육, 사회학 등 SSH 도메인에서 Phi-4와의 성능 격차가 가장 작았으며, 생물학이나 의학 같은 STEM 분야에서는 격차가 크게 벌어졌다. 이는 모델이 의도한 대로 SSH 분야의 언어 구조와 지식 체계에 깊게 특화되었음을 입증한다.

정성적 분석에서는 MIRROR 인터페이스가 오타, 스타일 오류뿐만 아니라 지배적 담론에 반하는 혁신적인 개념(예: 'Cosmopolitan imagination')을 효과적으로 포착해내는 것이 확인되었다. 특히 14B 모델은 4B 모델보다 문맥상의 미묘한 뉘앙스 차이를 더 정확하게 식별하여 연구자에게 유의미한 피드백을 제공했다.

SHARE 모델은 SSH 도메인의 특수성을 반영하기 위해 정렬(Alignment) 과정을 의도적으로 생략했다. 일반적인 RLHF나 DPO 과정은 모델의 출력을 안전하고 규범적인 방향으로 고정시키는데, 이는 혐오 표현이나 차별을 연구해야 하는 SSH 연구자들에게는 오히려 모델의 분석 능력을 저해하는 요소가 될 수 있기 때문이다. 따라서 SHARE는 사전 학습된 베이스 모델 상태로 제공된다.

학습 과정에서는 효율성을 극대화하기 위해 FlashAttention-2, Liger Kernel, Mixed Precision Training 등을 적용했다. SHARE-14B의 경우 20대의 NVIDIA H100 GPU를 사용하여 Snellius 슈퍼컴퓨터에서 학습되었으며, Chinchilla Scaling Law를 참고하여 데이터 양 대비 최적의 연산 예산을 설정했다. 또한 컨텍스트 길이를 초기 4096에서 8192 토큰으로 확장하여 긴 학술 문헌 처리가 가능하도록 설계했다.

현재 SHARE 모델은 주로 영어와 네덜란드어 데이터에 의존하고 있어 다국어 SSH 문헌 처리에 한계가 있다. 또한, MIRROR 인터페이스가 제공하는 '의외성' 지표를 사용자가 비판적 성찰 대신 단순히 정답을 찾는 지름길로 오용할 경우, 오히려 비판적 사고 능력이 저하될 수 있다는 위험성이 존재한다.