안나의 아카이브: LLM 학습 데이터의 효율적 확보와 지원을 위한 공식 가이드

섹션별 상세

안나의 아카이브는 인류의 모든 지식과 문화를 보존하고 로봇을 포함한 전 세계 모든 이에게 접근성을 제공하는 것을 목표로 하는 비영리 프로젝트이다. 이들은 지식의 보존과 접근이라는 두 가지 핵심 목표를 달성하기 위해 전 세계의 도서, 논문, 잡지 등 방대한 자료를 디지털화하여 관리한다. 특히 AI 모델이 인류의 지적 자산을 학습하여 발전하는 과정을 긍정적으로 평가하며 로봇의 접근을 공식적으로 허용한다.

웹사이트의 CAPTCHA를 우회하여 서버 자원을 소모하는 무분별한 스크래핑 대신, GitLab 저장소의 소스 코드와 토렌트 페이지의 메타데이터를 통해 대량의 데이터를 체계적으로 확보할 수 있다. aa_derived_mirror_metadata와 같은 메타데이터 파일은 전체 파일을 다운로드하지 않고도 필요한 자료를 선별할 수 있는 구조화된 정보를 제공한다. 이는 서버 부하를 줄이면서도 데이터 수집의 정확도를 높이는 효율적인 대안으로 제시된다.

모든 토렌트 정보는 annas-archive.gl/dyn/torrents.json API를 통해 프로그래밍 방식으로 조회 및 다운로드가 가능하여 자동화된 데이터 수집 파이프라인 구축에 유리하다. 개발자는 이 JSON API를 활용해 최신 업데이트된 자료 목록을 실시간으로 파악하고 필요한 토렌트 파일을 자동으로 호출할 수 있다. 별도의 검색 API는 아직 제공되지 않으나, 배포된 메타데이터를 활용해 로컬 환경에서 고성능 검색 인덱스를 직접 구축하는 것이 가능하다.

기업 규모의 기부자에게는 토렌트보다 전송 속도가 빠르고 안정적인 SFTP 접근 권한을 부여하여 수천만 건의 문서 데이터를 신속하게 확보할 수 있는 환경을 제공한다. SFTP 방식은 대규모 데이터셋을 빈번하게 갱신해야 하는 기업용 LLM 학습 환경에 최적화된 전송 속도를 보장한다. 이를 통해 AI 기업은 데이터 수집에 소요되는 시간과 기술적 비용을 획기적으로 절감하면서도 아카이브의 지속 가능성을 지원할 수 있다.

대다수의 LLM이 이미 해당 아카이브의 데이터를 학습에 활용하고 있으며, CAPTCHA 돌파에 소요되는 비용을 기부로 전환하여 더 많은 저작물을 디지털화하고 보존하는 데 기여할 것을 요청했다. 익명성이 보장되는 Monero(XMR)를 통한 기부 방식을 지원하며, 이는 법적·운영적 제약 없이 프로젝트가 독립적으로 유지될 수 있는 기반이 된다. 이러한 후원은 결국 더 양질의 학습 데이터가 생성되고 보존되는 선순환 구조를 만들어 AI 산업 전체에 이익을 준다.

용어 해설

캡차(CAPTCHA): — 웹사이트에서 자동화된 봇의 접근을 차단하기 위해 사용자와 컴퓨터를 구별하는 기술이다. 안나의 아카이브는 서버 부하를 방지하기 위해 이를 사용하지만, LLM 개발자들에게는 이를 우회하는 대신 공식적인 대량 다운로드 경로를 이용할 것을 권장하여 상호 효율성을 높인다.
메타데이터(Metadata): — 데이터의 속성을 설명하는 구조화된 정보로, 여기서는 수천만 권의 도서 제목, 저자, ISBN 등을 포함한다. aa_derived_mirror_metadata와 같은 파일을 통해 LLM은 실제 파일을 모두 받지 않고도 필요한 데이터를 선별하거나 검색 인덱스를 구축할 수 있다.
JSON API: — 데이터를 주고받기 위한 경량의 표준 형식인 JSON을 사용하는 인터페이스이다. 안나의 아카이브는 토렌트 목록을 이 형식으로 제공하여, LLM이나 데이터 수집 스크립트가 수동 조작 없이도 최신 데이터셋 현황을 파악하고 자동으로 다운로드를 시작할 수 있게 한다.
보안 파일 전송 프로토콜(SFTP): — SSH 프로토콜을 기반으로 한 안전한 파일 전송 방식이다. 일반적인 토렌트 방식보다 설정이 간편하고 전송 속도가 빠르며, 안나의 아카이브는 기업 규모의 후원자에게 이 전용 통로를 개방하여 대규모 학습용 데이터를 가장 신속하게 전달한다.
모네로(Monero): — 익명성이 보장되는 암호화폐의 일종이다. 안나의 아카이브는 지식의 자유로운 공유라는 민감한 활동을 지속하기 위해 추적이 어려운 모네로를 주요 기부 수단으로 채택하고 있으며, 이는 프로젝트의 운영 자금과 데이터 보존 비용으로 사용된다.

기술

JSON API
Torrents
SFTP
Monero
GitLab

활용 사례

LLM Pre-training
Knowledge Graph Construction
Digital Preservation

언급된 리소스

GitHubAnna's Archive GitLab

문서Anna's Archive Torrents

API DocsTorrents JSON API

문서LLM Data Page

문서Donate to Anna's Archive

섹션별 상세

용어 해설

캡차(CAPTCHA): — 웹사이트에서 자동화된 봇의 접근을 차단하기 위해 사용자와 컴퓨터를 구별하는 기술이다. 안나의 아카이브는 서버 부하를 방지하기 위해 이를 사용하지만, LLM 개발자들에게는 이를 우회하는 대신 공식적인 대량 다운로드 경로를 이용할 것을 권장하여 상호 효율성을 높인다.
메타데이터(Metadata): — 데이터의 속성을 설명하는 구조화된 정보로, 여기서는 수천만 권의 도서 제목, 저자, ISBN 등을 포함한다. aa_derived_mirror_metadata와 같은 파일을 통해 LLM은 실제 파일을 모두 받지 않고도 필요한 데이터를 선별하거나 검색 인덱스를 구축할 수 있다.
JSON API: — 데이터를 주고받기 위한 경량의 표준 형식인 JSON을 사용하는 인터페이스이다. 안나의 아카이브는 토렌트 목록을 이 형식으로 제공하여, LLM이나 데이터 수집 스크립트가 수동 조작 없이도 최신 데이터셋 현황을 파악하고 자동으로 다운로드를 시작할 수 있게 한다.
보안 파일 전송 프로토콜(SFTP): — SSH 프로토콜을 기반으로 한 안전한 파일 전송 방식이다. 일반적인 토렌트 방식보다 설정이 간편하고 전송 속도가 빠르며, 안나의 아카이브는 기업 규모의 후원자에게 이 전용 통로를 개방하여 대규모 학습용 데이터를 가장 신속하게 전달한다.
모네로(Monero): — 익명성이 보장되는 암호화폐의 일종이다. 안나의 아카이브는 지식의 자유로운 공유라는 민감한 활동을 지속하기 위해 추적이 어려운 모네로를 주요 기부 수단으로 채택하고 있으며, 이는 프로젝트의 운영 자금과 데이터 보존 비용으로 사용된다.