핵심 요약
위키미디어 독일(Wikimedia Deutschland)은 Wikidata의 방대한 지식 그래프를 AI 모델이 이해할 수 있는 벡터 형태로 변환하는 Wikidata Embedding Project를 진행했다. 기존의 스크래핑 부하 문제를 해결하고 오픈소스 AI 커뮤니티에 구조화된 데이터를 제공하기 위해 3,000만 개의 항목을 임베딩하여 벡터 데이터베이스를 구축했다. Jina AI의 V3 모델과 Matryoshka 임베딩 기술을 활용하여 효율성을 높였으며, MCP(Model Context Protocol) 지원을 통해 LLM이 복잡한 SPARQL 쿼리를 더 쉽게 생성할 수 있도록 돕는다. 이 프로젝트는 지식 그래프의 정밀함과 벡터 검색의 유연성을 결합하여 차세대 AI 애플리케이션의 기반을 마련하는 것을 목표로 한다.
배경
벡터 데이터베이스 및 임베딩의 기본 개념, 지식 그래프 및 SPARQL 쿼리에 대한 이해, RAG(Retrieval-Augmented Generation) 아키텍처 지식
대상 독자
AI/ML 개발자 및 지식 그래프 기반 애플리케이션 구축자
의미 / 영향
방대한 지식 데이터를 벡터화하여 제공함으로써 AI 모델의 할루시네이션을 줄이고, 오픈소스 데이터 활용의 새로운 표준을 제시한다. 특히 지식 그래프와 벡터 검색을 결합한 GraphRAG 시스템 구축에 중요한 기초 자산이 될 것이다.
섹션별 상세
위키미디어는 AI 모델 학습 및 RAG 애플리케이션을 위한 무분별한 스크래핑이 서버 인프라에 가하는 부담을 줄이고자 했다. 이를 위해 데이터를 API나 쿼리 서비스 대신 벡터 데이터베이스 형태로 직접 제공하여 효율적인 데이터 접근을 지원한다.
Wikidata의 1억 1,900만 개 항목 중 Wikipedia 페이지와 연결된 핵심 항목 3,000만 개를 선별하여 벡터화했다. 텍스트 기반 임베딩 모델을 사용하기 위해 지식 그래프의 노드와 엣지 정보를 텍스트 문장으로 변환하는 과정을 거쳤으며, Hugging Face에 Parquet 형식으로 데이터를 공유하여 처리 속도를 높였다.
Jina AI의 V3 임베딩 모델을 사용했으며, Matryoshka 임베딩 기술을 적용해 벡터 크기를 512차원으로 최적화하여 정확도와 자원 효율성 사이의 균형을 맞췄다. 각 항목은 레이블, 설명, 별칭 및 주요 문장(Statement) 단위로 청킹(Chunking)되어 저장되었다.
LLM이 Wikidata의 복잡한 SPARQL 쿼리 구문을 작성하는 데 어려움을 겪는 문제를 해결하기 위해 MCP(Model Context Protocol) 서버를 구축했다. 이를 통해 AI가 벡터 데이터베이스에서 관련 항목을 먼저 탐색하고 그래프 구조를 파악한 뒤 정확한 쿼리를 생성할 수 있도록 지원한다.
현재 알파 버전으로 공개된 이 프로젝트는 사용자 피드백을 통해 RAG, 분류, 클러스터링 등 다양한 활용 사례를 검증하고 있다. 향후 데이터 업데이트 주기 설정 및 모델 미세 조정(Fine-tuning) 가능성을 열어두고 오픈소스 AI 생태계와의 협력을 강화할 예정이다.
실무 Takeaway
- 지식 그래프 데이터를 텍스트로 변환할 때 레이블과 관계 정보를 문장화하여 임베딩 모델의 이해도를 높였다.
- Matryoshka 임베딩을 활용해 벡터 차원을 1024에서 512로 줄여 성능 저하 없이 인프라 비용을 절감했다.
- MCP를 활용해 LLM이 도메인 특화 쿼리 언어인 SPARQL을 더 정확하게 작성하도록 가이드하는 아키텍처를 구현했다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료