AskChem: 화학 문헌용 주장 중심 인프라

화학 연구 질문은 종종 여러 논문에 흩어진 정량적 결과와 조건을 모아야 답이 완성되는 특성이 있다. AskChem은 논문 전체가 아니라 DOI와 인용구로 근거가 고정된 '주장'을 검색 단위로 삼아 해당 근거를 직접 반환하고 교차-논문 합성을 지원하는 파이프라인을 구성했다. 이 접근은 LLM 기반 리더가 인용을 생성할 때 발생하는 DOI 비해당 문제를 줄이고, 검증 가능한 근거를 통해 AI 에이전트의 출력 신뢰도를 높인다는 점에서 중요하다.

문헌 검색에서 원하는 실험적 수치나 조건은 종종 여러 논문에 흩어져 있으며, 문서 단위 검색은 해당 근거를 바로 제공하지 못해 사용자가 직접 논문을 열어 값을 확인해야 한다는 문제가 있다. AskChem은 LLM 기반 추출기로 논문을 문장/절 수준의 '주장'으로 분해하고 각 주장에 DOI와 verbatim quote를 연결해 출처 추적이 가능한 원자 단위를 만든다. 그런 다음 이 주장들을 패싯 분류와 증거 그래프로 조직하고 FTS5·임베딩·노드 리콜을 결합한 하이브리드 검색으로 검색·집계·관계 탐색을 지원한다.

입력은 논문의 초록과 가능한 경우 전체 PDF이며 두 가지 추출 파이프라인을 병행해 처리한다. 고처리량 파이프라인은 초록을 대규모로 처리하고, 심층 파이프라인은 전체 텍스트에서 가설·한계·놀라운 발견 같은 초록에 드문 주장 타입을 추출한다. 각 추출 결과는 JSON 스키마로 검증되어 필수 필드(DOI, 주장 타입, verbatim quote, 숫자 범위 등)를 확인하고, 관계 추출 레이어는 typed directed edges와 신뢰도 점수·출처를 함께 출력한다. 이후 주장은 SQLite+FTS5와 벡터 인덱스에 적재되고 FastAPI로 서빙되며 검색은 FTS5·논문 리콜·taxonomy-node 리콜·dense-vector를 reciprocal rank fusion으로 결합해 결과를 반환한다.

실제 운영 인덱스는 147K 논문에서 2.4M 주장을 포함하고 307K의 taxonomy 노드를 채웠으며 증거 그래프은 171,342개의 타입화된 간선을 보유하고 있다. 관계 추출에 대한 도메인 전문가 층화 표본 감사에서 146개의 판정 가능한 간선 중 143개가 올바른 타입으로 판정되어 간선 타입 정밀도가 97.9%로 나타났다. AskChem-Bench 비교에서 GPT-5.5 단독은 DOI 존재율 88.3%였으나 AskChem로 접지할 경우 100% DOI 검증율을 달성했고 검증된 인용 밀도는 18.1로 다섯 시스템 중 최고였다.

주장 레코드는 DOI, verbatim quote, 주장 타입, 구조화된 필드(반응물·조건·측정값 등), 추출 신뢰도 점수를 포함하는 JSON 스키마로 검증되어 저장된다. 데이터는 SQLite에 FTS5 풀텍스트 인덱스와 별도 벡터 인덱스를 조합해 보관하며 FastAPI가 REST·SDK·MCP 엔드포인트를 제공한다. 관계 추출은 typed directed edges를 생성하고 간선마다 신뢰도와 출처를 붙여 증거 그래프를 구성하며 현재 그래프는 171,342개의 간선을 포함한다. 검색은 FTS5 텍스트 검색, 논문 수준 리콜, taxonomy-node 리콜, dense-vector 유사도 네 신호를 reciprocal rank fusion으로 결합해 결과를 정렬한다.

색인된 코퍼스는 화학 전체를 포괄하지 못하고 접근 가능한 공개 문헌과 일부 저자 제공 자료에 제한된다. 초록 기반 추출은 전체 텍스트 추출보다 얕아 가설·한계·특이한 결과를 놓칠 가능성이 있고 LLM 추출 결과 자체가 잘못될 수 있다. 패싯 정규화는 서로 다른 개념을 병합하거나 근접 중복 카테고리를 잔존시키는 오류를 만들 수 있으며, 패싯 기반 검색의 정확한 기여도는 아직 분리된 실험으로 정량화되지 않았다.