Spooky Author Identification 데이터셋에서 Bag-of-Words부터 Stacking까지 비교한 클래식 NLP 실험

작성자는 Towards Data Science 기사 링크를 공유하며 특히 NLP 또는 텍스트 분류 경험자가 의견을 달라고 요청했다. 본 입력 텍스트에는 댓글이나 토론 스레드가 포함되어 있지 않아 실질적 커뮤니티 반응을 판별할 수 없었다. 링크 기반 공개 형태라 토론은 원문 기사에 집중될 가능성이 높다.

• 초기 단계에서는 Bag-of-Words와 TF-IDF, 문자 n-그램 같은 희소 특징을 먼저 구축하고 간단한 선형 분류기 성능을 평가해 베이스라인을 확보할 것을 권장한다.
• 성능 한계가 보이면 Word2Vec 또는 FastText 임베딩으로 분포적 표현을 보완하고 NB-SVM과 같이 베이즈 스케일링을 결합한 선형 분류기를 시험한 뒤 교차검증 기반 OOF 예측을 사용해 스태킹 메타 모델을 구성할 것을 권장한다.
• 최종 성능 비교 시에는 holdout set과 OOF log loss 같은 정량 지표를 함께 보고 혼동 행렬을 통해 클래스별 오류 패턴을 확인해 특징·모델 보강 지점을 찾을 것을 권장한다.

TF-IDF

— 문서의 단어 중요도를 계산하는 통계적 기법으로 단어의 문서 내 빈도와 역문서빈도를 곱해 특징값을 만든다. 이 방식은 단어의 전역적 희소성과 문서 내 빈도를 동시에 반영하여 희소 행렬을 생성하며 전통적 분류기와 결합해 효과적인 입력으로 작동한다. 본 사례에서는 TF-IDF가 Bag-of-Words의 단순 카운트보다 더 많은 정보량을 제공해 이후 분류기 성능 향상에 기여했다.

Character n-grams

— 텍스트를 문자 단위로 고정 길이 슬라이딩 윈도우로 분할해 생성되는 특징으로 어근·접미사·철자 패턴을 포착한다. 이 방식은 오타, 형태소 변이, 짧은 텍스트에서 유용하며 언어적 패턴을 통계적으로 포착해 분류기의 견고성을 높인다. 해당 실험에서는 단어 기반 특징과 결합해 작가별 고유 표기 패턴을 더 잘 분리하는 데 사용됐다.

NB-SVM

— 나이브 베이즈의 로그 확률 스케일링을 특성 가중치로 사용하고 이를 선형 SVM에 입력해 장점 두가지를 결합한 방법이다. 이 방식은 희소 고차원 텍스트 특징에서 베이즈 기반 확률 정보를 보존하면서 마진 기반 분류의 판별 성능을 활용한다. 실험에서 NB-SVM은 전통적 선형 분류기보다 텍스트 클래스 분리가 명확할 때 높은 성능을 보였다.

Stacked Ensemble

— 서로 다른 약한 학습기 또는 특징 파이프라인의 출력을 상위 메타 모델이 입력으로 받아 최종 예측을 만드는 합성 방법이다. 개별 모델의 편향과 분산 특성이 서로 보완되도록 계층적으로 조합하며 교차검증 기반의 out-of-fold 예측을 메타 학습에 사용해 과적합을 완화한다. 본 실험에서는 여러 전통적 특징·모델의 장점을 합쳐 보류 테스트 성능을 끌어올리는 데 활용됐다.