웹 스케일 LLM 프리트레이닝 데이터의 내러티브 콘텐츠 특성화

서사는 인간 커뮤니케이션의 기본적 형식으로, 프리트레이닝 데이터의 서사적 다양성은 모델의 서사 추론 능력에 직접적인 영향을 미친다. 본 연구는 DOLMA 기반의 웹 스케일 데이터에서 11개 내러티브 차원을 측정하고, 이들 차원이 소스/주제에 따라 어떻게 다르게 분포하는지 대규모로 밝힌다. 이는 데이터 큐레이션이 서사 다양성을 반영하도록 설계되도록 하며, 이후 서사 추론 태스크의 성능-데이터 구성 간 관계를 탐구하는 발판을 마련한다.

단계적 설명(기초 개념에서 시작하여 문제 정의)으로 구성된 핵심 아이디어 4단락으로 제시한다. 1) 기초 문제 설정: Transformer의 대규모 시퀀스 데이터에서 서사를 어떻게 정의하고 측정할 것인지가 비공개/민감 영역이 될 수 있는 문제이며, 기존 연구는 주로 품질/토픽/포맷 등 간단 축에 국한되었다. 11개 차원의 다차원 서사 프레임워크를 도입해 서사를 연속적 스펙트럼으로 다룬다. 2) 해결 원리의 연결: DEBERTA 기반 이벤트 탐지기로 이벤트 트리거를 식별하고, 11개 차원을 정량화하는 NARRABERT를 통해 패시지 수준의 서사 특성을 예측한다. LLM 라벨링(GEMMA, Claude Sonnet, QWEN3)으로 대규모 스케일에서 지도 학습 신호를 전달하고, 지식 증류를 통해 3M 패시지에 대한 대규모 주석을 가능하게 한다. 3) 다층적 구조의 도출: 11개 차원을 이벤트-행위-월드 빌딩의 삼중 축으로 배열하고, PCA를 통해 Interiority, Grounded Eventfulness, Storyworld Texture의 3대 주 축으로 요약한다. 이 축은 Lexical Content와의 연관성을 시각화하기 위해 SBERT 임베딩 공간에 PC를 매핑한다. 4) 실무적 함의: 소스 수준의 큐레이션만으로는 서사를 균일하게 증가시키기 어렵고, 데이터 구성의 미세 조정(RegMix 같은 프레임워크)과 체크포인트 분석이 서사 능력의 발생 시점과 경로를 밝히는 데 필요하다.

단계 1: Dolma 소스를 12개 소스군으로 분류하고, 3문장 길이 패시지 ∼17M개를 초기 풀에서 샘플링한다. Step 2: DEBERTA 기반 binary narrative classifier로 각 패시지의 서사 가능성을 점수 p∈[0,1]로 산출한다. Step 3: Common Crawl 소스의 패시지에 WEBORGANIZER 토픽 분류를 적용하고, Step 4에서 계층적 샘플링으로 gold 400패시지와 전체 NARRADOLMA 3M 패시지를 구성한다. 이벤트 관계는 LitBank 기반 이벤트 탐지기로 트리거 spans를 식별한 뒤 adjacent span 쌍의 시간 순서와 인과 관계를 주석한다. 이후 GEMMA로 라벨링하고, NARRABERT의 12차원 벡터를 생성한다. 수식 없이도 흐름은 input → 특징 추출 → 예측/라벨링 → 평가 순으로 설명된다. 패시지 수준의 12차원 벡터를 문서 수준으로 평균화해 ∼785K 문서의 NARRADOLMA 벡터를 얻는다. 4) 학습 설계: RoBERTa-BASE를 기반으로 agency와 setting에 nine regression heads를 연결하고, event relations에 별도 인코더를 둔다. 학습은 5-fold cross-validation과AdamW 최적화를 사용하며, 손실 함수는 masked MSE를 사용한다. 5) 검증: gold split A/B를 활용한 LLMS의 주석 일치도, human 주석 간 일치도, 그리고 PC 축의 해석 타당성(상관 분석)을 수행한다. 6) 윤리 및 안전성 고려: 데이터 소스(DOLMA) 특성상 민감 콘텐츠를 포함할 수 있으며, 연구 목적에 한해 공개한다.

6.1 서사 프로파일: Common Crawl과 비-Common Crawl 소스별로 12개 차원의 평균 z-스코어를 heatmap로 시각화한다. 카테고리 간 서사 프로파일은 뚜렷하며, 내부성(interiority)과 텍스처가 서로 다른 군을 형성한다. 6.2 지배적 모드: 12 차원 간 상관 관계를 바탕으로 PCA를 수행해 상위 3개 성분이 총 분산의 약 72%를 설명한다. PC1은 내부성, PC2는 grounded eventfulness, PC3은 storyworld texture를 나타낸다. SBERT 임베딩 공간에 PC1 점수를 매핑하면 고유한 공간구조가 관찰된다. 6.3 프리트레이닝 데이터의 서사 집중: NARRADOLMA 문서의 PC 점수 분포를 관찰하고, 각 축의 상위 25%에 들어가는 문서의 비율을 통해 서사 특성이 특정 범주에서 과대표현되는 정도를 확인한다. Gutenberg, Reddit, Wikipedia 등은 서로 다른 축에서 강하게 나타나며, 이는 서사 특성이 범주 간에 다르게 분포함을 시사한다. 6.4 요약: 서사 차원은 단일량이 아닌 다차원 구조이고, 데이터 소스의 다양성에 따라 분포가 다르게 나타난다. NARRABERT의 예측과 자동 랭크의 상관 관계는 자동화된 라벨과 인간 라벨 간의 일관성을 확인한다. 6.5 한계 및 확장: 본 연구는 영어 텍스트에 한정되며, 다른 언어/전통에서의 서사 구조는 다를 수 있다. 향후 RegMix 등의 데이터 혼합 실험으로 프리트레이닝 데이터 구성과 서사 능력 간의 인과 관계를 탐구할 필요가 있다.

전체 아키텍처는 두 RoBERTa-BASE 인코더로 구성된 NARRABERT를 중심으로 작동한다. agency와 setting은 shared 인코더의 9개 회귀 헤드를 통해 1-5의 9개 점수로 회귀하고, event relations은 이벤트 트리거를 검출하는 LitBank 기반의 이벤트 탐지기에서 얻은 span 쌍에 대해 별도의 인코더가 이진 타깃(temporal ordering, causality)을 예측한다. 패시지의 특징 벡터는 12 차원의 서사 특징으로 구성되며, 이벤트 밀도(event density)와 같은 보조 지표도 포함된다. 학습은 multi-task 목표로 진행되며, 손실은 mask된 MSE를 사용하고 NaN 값은 손실에서 마스크한다. Distillation은 GEMMA(LLM teacher)에서 얻은 5K 축의 라벨을 바탕으로 수행되며, 작은 비용으로 대규모 적용이 가능하게 한다. 데이터 파이프라인은 12개 Dolma 소스의 분포를 반영하고, Step 2에서 DEBERTA 기반 binary narrative classifier의 연속 확률 p를 활용해 gold 샘플의 비율을 구성한다. 모델 학습은 GPU(H100)에서 수행되며, Roberta-base 파라미터 수는 약 125M, 9개의 추가 회귀 헤드가 약 7K 파라미터를 더한다. Prior work 대비 차별점은: (1) 11차원 내러티브 프레임워크를 통한 다차원 표상, (2) 대규모 라벨링을 위한 지도학습 증류, (3) 대규모 데이터에 적용 가능한 NARRABERT의 경량화, (4) 문서 수준으로의 패시지 벡터화 및 PCA 기반의 서사 축 도출. 한계점으로는 영어 텍스트에 한정, 주석의 품질 편차, 이벤트 관계 평가의 불일치 가능성 등이 있다.

본 연구의 한계는(1) Dolma 샘플링은 >3조 토큰 코퍼스의 부분집합으로, 충실한 분포를 반영하되 절대적 비율은 일반화되지 않는다. (2) 주석은 400패시지로 제한되었고, 다루는 11 차원 전 범위에 대한 사람 간 일치도는 일부 영역에서 낮다(특히 시간 순서). (3) NARRABERT는 이벤트 관계에서 LLM 교사에 비해 다소 성능이 낮다( F1 0.63 vs 0.78 ), 클래스 불균형이 크기 때문이다. (4) 영어 텍스트에 한정되어 있어 다른 언어/서사 전통에서의 일반화가 불확실하다. (5) 프리트레이닝 데이터 구성과 다운스트림 성능 간의 직접적 인과 관계를 입증하지 않는다. (6) 체크포인트 간 서사 능력의 직관적 해석은 아직 제한적이다.