Paper Circle: 오픈 소스 멀티 에이전트 연구 탐색 및 분석 프레임워크

폭발적으로 증가하는 학술 논문 속에서 연구자가 필요한 정보를 효율적으로 찾고 분석하는 것은 매우 어렵다. 이 논문은 단순 검색을 넘어 논문 내용을 구조화된 지식 그래프로 변환하고, 여러 에이전트가 협력하여 심층적인 분석과 리뷰를 제공함으로써 연구 워크플로우를 혁신적으로 단축시킨다.

기존의 논문 검색은 주로 TF-IDF나 BM25 같은 어휘적 매칭 또는 단순한 Embedding 기반의 벡터 검색에 의존했다. 하지만 연구자는 특정 방법론이 어떤 실험 결과로 이어졌는지, 혹은 이 논문이 기존 연구와 어떤 차별점이 있는지와 같은 맥락적 이해를 필요로 한다. Paper Circle은 이러한 한계를 극복하기 위해 논문을 단순한 텍스트 덩어리가 아닌, 서로 연결된 '개념의 망'으로 바라본다.

먼저 Discovery 단계에서는 사용자 의도를 파악해 arXiv, Semantic Scholar 등 여러 API에서 데이터를 수집하고, 이를 다차원 지표로 평가한다. 이후 Analysis 단계에서는 논문 PDF를 파싱하여 섹션, 그림, 표, 수식을 분리하고, 각 요소가 논문 내에서 수행하는 역할을 분류한다. 예를 들어 특정 수식이 어떤 변수를 입력으로 받아 어떤 물리적 의미를 도출하는지를 지식 그래프의 노드와 엣지로 정의한다.

결과적으로 연구자는 수천 편의 논문을 일일이 읽지 않고도, 에이전트가 구축한 지식 그래프를 통해 '이 방법론을 사용한 다른 논문들과의 성능 차이'와 같은 고차원적인 질문에 대해 근거(Provenance)가 명확한 답변을 얻을 수 있게 된다. 이는 LLM의 단순한 요약을 넘어 데이터 간의 논리적 연결성을 확보하는 접근 방식이다.

시스템은 크게 두 가지 파이프라인으로 구성된다. 첫 번째인 Discovery Pipeline은 Intent Classification Agent가 사용자의 자연어 쿼리를 분석하여 검색 모드(온라인/오프라인)와 필터를 결정한다. 이후 Paper Search Agent가 다중 소스에서 데이터를 수집하고, Sorting Agent가 BM25 점수와 최신성 등을 결합하여 순위를 매긴다. 마지막으로 MMR 알고리즘을 적용하여 검색 결과의 중복성을 제거하고 주제적 다양성을 확보한다.

두 번째인 Analysis Pipeline은 PDF를 구조화하는 과정에 집중한다. PDFParser가 PyMuPDF를 사용하여 메타데이터와 섹션 구조를 추출하면, SemanticChunker가 문맥을 유지하며 텍스트를 분할한다. 이후 GraphBuilder 내의 4가지 전문 에이전트(Concept, Method, Experiment, Linkage)가 작동한다. 이들은 각 청크에서 핵심 개념을 추출하고 이들 사이의 관계를 정의하여 Typed Knowledge Graph를 생성한다.

수학적 개념의 경우, Similarity Score는 쿼리 벡터 v_q와 논문 벡터 v_p 사이의 코사인 유사도를 계산한다. [두 벡터의 내적을 구하고] → [각 벡터의 크기 곱으로 나누어] → [-1에서 1 사이의 값(보통 0~1)을 얻고] → [이 값이 1에 가까울수록 쿼리와 논문의 주제가 일치함]을 의미한다. 최종 점수는 이 유사도에 최신성(Recency), 참신성(Novelty) 등의 가중치를 합산하여 결정된다.

Qwen3-Coder-30B 모델을 기반으로 한 에이전트 시스템은 검색 성능 평가에서 80%의 Hit Rate와 0.627의 MRR(Mean Reciprocal Rank)을 기록하며 기존 베이스라인인 BM25(78% HR)를 상회했다. 특히 'With Filters & Offline' 설정에서 가장 높은 성능을 보였는데, 이는 명시적인 컨텍스트(학회, 연도 필터)가 검색 정확도를 크게 향상시킴을 보여준다.

논문 리뷰 생성 실험에서는 GPT-4o 등 대형 모델이 인간 리뷰어의 점수와 더 높은 상관관계를 보였으나, 코드 특화 모델인 Qwen3-Coder 역시 기술적인 세부 사항 분석에서 경쟁력 있는 성능을 나타냈다. 다만, 리뷰 에이전트의 점수와 실제 인간의 점수 간의 상관관계는 r < 0.25 수준으로 나타나, 아직은 인간의 판단을 완전히 대체하기보다 보조 도구로서의 역할이 적합함을 시사했다.

Paper Circle은 CodeAgent 기반의 멀티 에이전트 오케스트레이션 프레임워크를 사용한다. 각 에이전트는 독립적인 도구(Tool)를 사용하며, Tracker가 공유 상태(Shared State)를 관리하여 에이전트 간의 협업을 조율한다. 특히 'Paper Mind'라고 불리는 지식 그래프는 단순한 개체명 인식을 넘어, 논문의 논리적 흐름(가설-방법-실험-결론)을 반영하는 전용 스키마를 따른다.

구현 측면에서는 FastAPI를 사용한 백엔드와 React 기반의 프론트엔드로 구성된 풀스택 아키텍처를 채택했다. 데이터 저장소로는 PostgreSQL과 Supabase를 사용하여 사용자 세션과 논문 메타데이터를 관리하며, 대규모 PDF 처리를 위해 ThreadPoolExecutor를 통한 병렬 실행을 지원한다. 또한 모든 에이전트의 작업 결과는 JSON으로 구조화되어 저장되므로, 분석 과정의 투명성과 감사(Auditing)가 가능하다.

리뷰 에이전트의 평가 결과가 인간 리뷰어의 판단과 낮은 상관관계(r < 0.25)를 보이며, 때로는 반대 방향의 상관관계를 나타내기도 한다. 따라서 현재 시스템은 논문의 질적 가치를 최종 판단하는 용도로 사용하기에는 부적합하며, 정보 추출 및 요약 보조 도구로 한정하여 사용해야 한다.