Ideas Have Genomes: IdeaGene 프레임워크와 IG-Bench를 통한 계보 추론 및 계보조건 생성 평가

현행 벤치마크는 연구 아이디어의 상속·변형·도입 같은 계보적 관계를 체계적으로 평가하지 못했다. IdeaGene 프레임워크는 과학적 아이디어를 근거 기반의 최소 단위로 형식화하여 계보 현상을 정량적으로 다룰 수 있게 하며, 이로써 모델이 단순한 문장 생성이 아니라 특정 계보 맥락을 보존하면서 유의미한 변이를 만들어내는 능력을 평가할 수 있다. 계보 조건화된 생성과 추론을 측정하는 IG-Bench와 IG-Arena는 연구 제안 평가와 과학적 창의성의 자동화 가능성에 대한 실질적 근거를 제공한다.

연구 아이디어는 독립된 문장이나 문서가 아니라 근거 기반의 구성 요소들이 조합되어 발전하는 구조를 가진다는 관점에서 출발한다. 이 논문은 아이디어를 의미론적·증거적 최소 단위로 분해하면 상속과 변이 같은 계보적 관계를 명시적으로 포착할 수 있다는 가정을 채택했다. 최소 단위 객체의 정렬과 이벤트 표기를 통해 계보 현상을 기계적으로 다룰 수 있게 되면 계보 추론과 계보조건 생성 문제를 형식적으로 정의할 수 있다.

전체 접근 방식은 세 부분으로 구성된다. 첫째, 각 논문이나 제안을 Idea Genome 객체 집합으로 변환하는 과정이 있으며 이 과정은 근거 문장과 아이디어 유형을 기준으로 객체를 추출하고 유형화하는 규칙적 절차를 포함한다. 둘째, 두 작업물 간 대응을 찾고 대응 결과를 GenomeDiff로 표기하여 상속, 변이, 손실, 외부 유입, 신규 삽입 등 여섯 가지 운영적 진화 이벤트로 분류한다. 셋째, 평가 파이프라인은 닫힌형 추론 문제 집합인 IG-Exam과 생성 품질을 계보 조건으로 평가하는 IG-Arena로 분리되며, IG-Arena에서는 Population-Evolution Score(PES)를 계산해 생성물이 주어진 계보 집단과 어떻게 연관되는지를 정량적으로 판정한다.

논문은 IG-Bench 전체에 대해 여러 실험을 수행했고 14개 LLM 기반 시스템의 성능을 보고했다. 메인 결과로 계보 추론 태스크에서 최고 성능 시스템이 27.3%의 정확도를 기록했으며 이는 계보 문제의 난이도가 높고 현재 모델들이 계보적 조합능력에서 한계를 보인다는 것을 의미한다. 추가로 구조화된 계보 문맥을 입력으로 제공해도 모든 시스템의 성능이 일관되게 개선되지 않고 일부 시스템의 등수 재배열이 발생했으며 이는 계보 정보의 활용 방식이 모델별로 달라지는 특성을 드러냈다.

IdeaGene 프레임워크는 각 논문이나 제안을 Idea Genome 객체 집합으로 표현하는 전처리·표현 규약을 중심으로 설계되었다. 각 객체는 근거 문장과 유형 정보를 포함하여 구조화되며 이들 객체 간의 대응 매핑은 GenomeDiff로 표기되어 진화 이벤트의 범주별로 라벨링된다. GenomeDiff는 상속(inheritance), 변이(mutation), 손실(loss), 외부 도입(external import), 신규 삽입(novel insertion) 등 운영적 사건을 기록하여 계보 관계를 기계적으로 비교할 수 있도록 한다. 데이터셋 구성에는 1,961개의 골든 계보 추적, 1,085개의 큐레이션된 Idea Genome 객체, 920개의 쌍별 GenomeDiff 레코드가 포함되어 있으며 IG-Exam은 42개 과제 타입, 1,029개의 인스턴스로 닫힌형 추론 문제를 제공한다. IG-Arena의 PES는 상속 적합성, 근접 연구와의 의미 있는 변별, 그리고 선택 가치를 종합해 산출하는 평가 지표로 설계되어 계보조건 생성의 품질을 측정한다.