Anna's Archive, LLM을 위한 데이터 접근 가이드 공개

섹션별 상세

Anna's Archive는 인류의 지식과 문화를 보존하고 누구나 접근할 수 있도록 하는 비영리 프로젝트이다. 이들은 최근 LLM이 자사 데이터를 효율적으로 수집할 수 있도록 돕는 llms.txt 파일을 공개했다. 이는 데이터 접근성을 높이려는 프로젝트의 목표와 부합한다.

근거

Anna's Archive는 인류 지식 보존을 목표로 하는 비영리 프로젝트이다. — From our new llms.txt file: # Anna’s Archive > We are a non-profit project...

LLM이 웹사이트의 CAPTCHA를 우회하여 자원을 과도하게 사용하는 것이 병목이었다. Anna's Archive는 공식적인 데이터 수집 경로를 안내하는 llms.txt를 도입하여 자동화된 접근을 체계화했다. 이 방식을 통해 LLM은 CAPTCHA 없이 데이터를 수집할 수 있다. 이는 웹사이트의 리소스 부하를 줄이고 데이터 접근성을 개선한다.

모든 HTML 페이지와 코드는 GitLab 저장소에서, 메타데이터와 전체 파일은 토렌트 페이지에서 다운로드할 수 있다. 사용자는 토렌트 페이지의 aa_derived_mirror_metadata를 통해 방대한 데이터를 확보할 수 있다. 이는 대규모 데이터셋을 효율적으로 미러링하려는 개발자에게 유용한 경로이다.

프로그래밍 방식의 데이터 접근을 위해 토렌트 JSON API를 제공하며, 기부 시 API를 통한 개별 파일 접근 권한을 부여한다. 사용자는 API를 호출하여 필요한 데이터를 선별적으로 수집할 수 있다. 이는 검색 API가 없는 상황에서 데이터를 효율적으로 탐색하는 대안이 된다.

기업 수준의 대규모 데이터 접근이 필요한 경우, 기부를 통해 SFTP를 이용한 고속 다운로드 방식을 지원한다. SFTP는 토렌트보다 빠른 전송 속도를 제공하여 대규모 데이터 파이프라인 구축에 유리하다. 이는 기업이 안정적으로 데이터를 확보할 수 있는 공식적인 경로이다.

기술

GitLab
Torrents
JSON API
SFTP

활용 사례

LLM 학습 데이터 수집
대규모 데이터셋 미러링

언급된 리소스

GitHubAnna's Archive GitLab

문서Torrents Page

API DocsTorrents JSON API