1980년부터 2013년까지의 Usenet 아카이브를 포함한 1,030억 토큰 규모의 사전 학습 말뭉치 공개

데이터의 희소성과 정제 품질에 대해 매우 긍정적인 반응이며, 특히 AI 생성물이 없는 '깨끗한' 데이터라는 점에 주목하고 있다.

• Hugging Face의 OwnedByDanes/Usenet-Corpus-1980-2013 저장소에서 데이터 카드와 샘플 데이터를 확인할 수 있다.
• 특정 도메인이나 시대적 배경이 필요한 모델 파인튜닝 시 soc.culture.* 등 특정 뉴스그룹 계층을 선별하여 활용 가능하다.

• 1980~2013년 Usenet 데이터를 정제한 1,031억 토큰 규모의 데이터셋이 Hugging Face에 공개되어 누구나 활용 가능하다.
• SEO나 AI 생성물이 섞이지 않은 순수 인간의 33년치 언어 진화 데이터를 학습에 사용할 수 있다.
• Fasttext를 이용한 언어 감지와 SHA-256 해싱 기반의 개인정보 보호 등 체계적인 데이터 정제 공정이 적용됐다.