Wikimedia Deutschland의 Wikidata 임베딩 프로젝트: 3,000만 개의 지식 그래프 항목을 벡터화하다

섹션별 상세

Wikidata의 1억 1,900만 개 항목 중 Wikipedia 페이지와 연결된 핵심 항목 3,000만 개를 우선적으로 벡터화했다. 이는 일반적인 지식 정보를 중심으로 데이터 규모를 관리 가능한 수준으로 유지하기 위함이며, 향후 과학 논문 등 특정 도메인으로의 확장 가능성도 열어두었다.

지식 그래프의 구조적 데이터를 임베딩 가능한 텍스트로 변환하기 위해 데이터 덤프를 활용한 다중 패스 프로세스를 구축했다. 각 항목의 레이블, 설명, 별칭뿐만 아니라 그래프의 엣지(Edge) 정보를 문장 형태로 재구성하여 포함했으며, 의미가 없는 외부 ID 등은 제외하여 임베딩의 품질을 최적화했다.

Jina Embedding V3 모델과 Matryoshka Embedding 기법을 적용하여 벡터 크기를 512차원으로 설정했다. 이는 1024차원의 최대 성능과 비교했을 때 충분한 정확도를 유지하면서도 저장 공간과 계산 리소스를 획기적으로 절감할 수 있는 최적의 지점임을 테스트를 통해 확인했다.

데이터 배포 및 처리 효율을 위해 Hugging Face에 Parquet 형식으로 데이터를 업로드했다. Parquet의 열 기반 구조 덕분에 전체 테라바이트급 데이터를 다운로드하지 않고도 행 단위로 필요한 정보를 읽어와 벡터 데이터베이스에 푸시할 수 있었으며, 이는 외부 스크래퍼들의 API 부하를 줄이는 대안이 된다.

MCP(Model Context Protocol) 서버를 구축하여 LLM이 Wikidata의 구조를 직접 탐색할 수 있는 환경을 제공한다. LLM은 벡터 검색으로 관련 항목을 먼저 찾고, MCP를 통해 그래프의 연결 관계를 파악한 뒤, 최종적으로 정확한 SPARQL 쿼리를 작성하여 정밀한 데이터를 추출할 수 있다.

용어 해설

지식 그래프(Knowledge Graph): — 엔티티 간의 관계를 네트워크 구조로 표현한 데이터 모델이다. Wikidata와 같이 수많은 개념과 그 연결 고리를 구조화하여 AI가 데이터 간의 맥락과 의미를 파악하는 데 핵심적인 역할을 한다.
스파클(SPARQL): — 지식 그래프나 RDF 형식의 데이터를 쿼리하기 위한 표준 언어이다. SQL과 유사한 문법을 가지며, 엔티티 간의 복잡한 관계를 정밀하게 필터링하고 추출하는 데 사용되지만 문법이 까다로워 LLM의 직접 생성이 어렵다.
마트료시카 임베딩(Matryoshka Embedding): — 하나의 벡터 안에 여러 차원의 정보를 중첩하여 저장하는 기법이다. 큰 차원의 벡터 앞부분만 잘라내어 작은 차원으로 사용해도 성능 저하를 최소화할 수 있어, 리소스 상황에 맞춰 벡터 크기를 유연하게 조절 가능하다.
파케이(Parquet): — 데이터를 열(Column) 단위로 저장하는 오픈 소스 파일 형식이다. 대규모 데이터셋 처리에 최적화되어 있으며, 필요한 열만 선택적으로 읽을 수 있어 메모리 효율성이 높고 처리 속도가 빠르다.
모델 컨텍스트 프로토콜(MCP (Model Context Protocol)): — Anthropic이 제안한 표준 프로토콜로, LLM이 외부 데이터 소스나 도구에 안전하고 일관된 방식으로 접근할 수 있게 한다. 이 프로젝트에서는 LLM이 Wikidata를 탐색하고 쿼리하는 인터페이스로 활용된다.

기술

Jina Embedding V3
Wikidata
Hugging Face
Parquet
SPARQL
MCP

활용 사례

지식 그래프 기반 RAG 시스템
자연어를 활용한 SPARQL 쿼리 생성 보조
대규모 엔티티 분류 및 클러스터링
시맨틱 데이터 탐색 도구

언급된 리소스

GitHubWikidata Embedding Project with MCP support

문서Wikidata on Hugging Face