1980년부터 2013년까지의 Usenet 아카이브를 포함한 1,030억 토큰 규모의 사전 학습 말뭉치 공개

데이터의 희소성과 정제 품질에 대해 매우 긍정적인 반응이며, 특히 AI 생성물이 없는 '깨끗한' 데이터라는 점에 주목하고 있다.

• Hugging Face의 OwnedByDanes/Usenet-Corpus-1980-2013 저장소에서 데이터 카드와 샘플 데이터를 확인할 수 있다.
• 특정 도메인이나 시대적 배경이 필요한 모델 파인튜닝 시 soc.culture.* 등 특정 뉴스그룹 계층을 선별하여 활용 가능하다.

Pretraining Corpus

— AI 모델이 언어의 구조와 지식을 학습하기 위해 사용하는 대규모 텍스트 데이터 집합이다. 모델의 기초 지능과 언어 이해 능력을 결정하는 핵심 요소이다.

Deduplication

— 데이터셋 내에서 동일하거나 매우 유사한 텍스트를 찾아 제거하는 과정이다. 모델이 특정 정보에 편향되거나 불필요한 연산을 반복하는 것을 방지하여 학습 효율을 높인다.

JSONL

— 각 행이 하나의 독립된 JSON 객체로 구성된 텍스트 파일 형식이다. 대규모 데이터셋을 한 줄씩 읽고 처리할 수 있어 메모리 효율적인 데이터 파이프라인 구축에 유리하다.

LID-176

— 텍스트가 어떤 언어로 작성되었는지 판별하는 모델로, Meta의 fasttext 라이브러리에서 176개 언어를 지원한다. 데이터셋의 언어별 구성을 파악하고 필터링하는 데 사용된다.