그래프-네이티브 강화학습을 통한 개념 재조합 기반 추적 가능한 과학적 가설 생성

과학적 가설 생성은 여러 수준의 개념과 인과관계를 연결해 검증 가능한 메커니즘을 만드는 과정이므로 중간 추론의 투명성이 중요하다. 기존 LLM은 유창한 응답을 산출하지만 중간 근거를 기계적으로 검사하거나 재사용하기 어려워 과학적 응용에서 신뢰성 확보가 어렵다. Graph-PRefLexOR은 추론을 그래프-네이티브 형식으로 구조화하고 GRPO로 학습해 중간 근거의 가독성과 검증 가능성을 크게 개선했다.

대형 언어 모델은 방대한 과학 지식을 텍스트 형태로 내장하고 있어 가설 생성의 출발점으로 유리하다. 그러나 전통적 chain-of-thought 출력은 개념과 인과관계를 명시적 관계 구조로 캡처하지 못해 중간 근거의 기계적 검사와 재활용이 어렵다. 따라서 추론 자체를 그래프 구조로 표현하면 어떤 개념이 연결되었는지, 관계의 종류가 무엇인지, 그리고 패턴이 어떻게 구성되는지를 명확히 식별할 수 있다. Graph-PRefLexOR는 추론 과정을 탐색 단계에서부터 수렴 단계까지 명확히 분할한 sentinel 블록으로 구성해 각 단계가 차지하는 의미적 하위공간을 분리했다. 모델은 먼저 광범위한 메커니즘 후보를 발굴한 뒤 이를 개념·관계로 추상화하고 이를 정형화된 Graph JSON으로 직렬화한다. 이후 그래프에서 반복적으로 나타나는 인과 모티프를 추출하고, 마지막으로 이들 모티프를 통합해 테스트 가능한 가설을 산출한다. 학습 측면에서는 단일 정답에 의존하는 지도학습 대신 그룹 상대 보상을 사용해 다양한 합리적 출력을 비교했다. GRPO는 한 쿼리에 대해 여러 출력을 샘플해 그룹 내부 평균과 표준편차로 이득을 표준화하므로, 여러 타당한 추론 경로를 상대적으로 평가하면서 그래프의 정보 보존성과 구조적 정합성을 직접적으로 강화할 수 있다. 이로 인해 모델은 단순한 유창성 향상이 아니라 중간 표현의 조직화와 추적성을 확보하게 된다.

데이터 제작은 teacher-distillation 파이프라인을 사용해 수행되었다. 강력한 teacher 모델이 각 소스 문서에서 전문가 수준의 도전 질문과 그에 대한 완전한 graph-native reasoning trace를 생성했고, 약한 모델이 성의 없는 짧은 응답을 만들어 선호/비선호 쌍을 구성했다. 모든 기록은 질문, 골드 답변, 선택된/거부된 완성, 그리고 teacher가 제공한 graph_json을 포함해 보상 학습과 ORPO 초기화에 직접 활용되었다. 학습은 두 단계로 진행되었다. 1단계 ORPO(odds-ratio preference optimization)로 cold-start를 수행해 모델에 형식 준수와 선호 순위를 빠르게 각인시켰고, 2단계에서는 Graph-GRPO를 적용해 그룹-relative advantage를 사용해 정책을 최적화했다. Graph-GRPO는 G=8 샘플을 생성하고 composite reward로 각 출력을 점수화해 LoRA 파라미터만 갱신하는 방식으로 메모리와 안정성을 확보했다. 보상은 총 여섯 구성요소를 가중합한 형태로 정의되었다. 주된 두 항목은 외부 판정자(grok-4-1-fast-non-reasoning)가 채점하는 correctness와 graph-utility이며, graph-utility는 생성된 graph_json만으로 재구성된 답을 판정해 그래프에 정보가 충분히 담겼는지를 측정했다. 나머지 네 항목은 형식 유효성(format), NetworkX 기반 정합성(nx), 텍스트적 다양성(diversity), 그리고 그래프 위상적 구조(structure)로 구성되어 프로그램적으로 계산 가능한 촘촘한 신호를 제공했다. 모델 아키텍처와 학습 세부는 세 가지 백본을 사용해 비교되었다. Qwen3-1.7B와 Qwen3-8B는 이미 thinking 모드를 갖춘 추론 기반 백본이었고 Llama-3.2-3B-Instruct는 기본 대화형 백본이었다. 모든 학습은 LoRA 적응과 vLLM 기반 샘플링을 사용했고 하드웨어는 A100-SXM4-80GB 또는 GH200 480GB로 수행되었다.

Graph-PRefLexOR는 100문항 벤치마크에서 대응되는 베이스 모델 대비 전반적으로 약 40–65%의 상대 개선을 기록했다. 특히 Reasoning Traceability에서 가장 큰 이득이 관찰되었고, 모델 규모가 클수록(8B) 더 높은 성능을 보였으며 8B 모델은 1.7B에 비해 약 25–30% 높은 점수를 획득했다. Qwen3-8B 대비 Graph-PRefLexOR-8B의 final-answer가 자체 structured trace에 가장 가까운 경우는 92/100였고, Qwen3-8B의 final-answer가 자신의 thinking trace에 가장 가까운 경우는 16/100에 불과했다. 임베딩 기반 분석에서 reasoning-trace의 평균 inter-phase 코사인 거리는 1.7B에서 Graph-PRefLexOR가 0.20, 베이스가 0.07로 2.9배 차이를 보였고 8B에서는 0.21 대 0.08로 2.6배의 차이가 관찰되었다. 최종 답변에서도 Graph-PRefLexOR가 의미적 다양성에서 1.7B 기준 약 2.2배, 8B 기준 약 2.4배의 개선을 보였으며 PCA와 KDE 시각화는 단계별 분포가 뚜렷히 분리되는 양상을 드러냈다. 레이어별 은닉 상태 거리 분석은 베이스 모델에서 층 7–10과 최종 층에서 사고와 답변 사이의 큰 분기가 나타난 반면 Graph-PRefLexOR는 전반적으로 더 낮은 분기를 유지해 추론과 답변 사이의 표현적 연속성이 높음을 보여주었다. 테스트타임 그래프 확장 실험에서는 개념 수는 계속 증가하지만 임베딩 볼륨과 최대 거리는 수백 회(iteration) 내에 포화되는 반면, '놀라운 재조합'(atypical two-hop bridges)은 초선형으로 증가했다. 네 가지 확장 전략 중 leap가 재조합을 가장 효율적으로 유도했고 converse는 가장 많은 새로운 개념을 도입했으나 브리지 수는 적었다. 누적 그래프는 무작위 널 모델 대비 과잉 표현된 관계-모티프와 높은 모듈성, 그리고 이질적 에지 연결성을 보여 통계적으로 의미 있는 구조를 형성했다.

전체 아키텍처는 텍스트 생성 모델에 sentinel 기반의 블록을 강제해 내부 추론을 구조화하는 방식이다. 구체적으로 은 발산적 후보 메커니즘을 생성하고, 는 핵심 엔티티와 관계를 자연어로 요약하며, <graph_json>은 엄격한 노드/엣지 JSON으로 직렬화한다. 이후 는 그래프에서 causal motif를 추출하고 가 최종 통합 가설을 산출하도록 설계되었다. 학습 알고리듬은 두 단계로 구성되며 첫 단계 ORPO는 선택된(좋은) 응답과 거부된(나쁜) 응답의 쌍을 사용해 negative-log-likelihood와 오즈비 기반 패널티를 결합한 손실로 초기 형식 준수를 확보했다. 두 번째 단계 Graph-GRPO는 각 쿼리에서 G=8개의 후보를 샘플해 composite reward로 점수화하고 그룹 정규화된 advantage를 clipped policy gradient로 최적화했다. GRPO는 critic-free 설계로 메모리 효율을 확보했으며 KL 페널티를 통해 레퍼런스 정책 이탈을 제어했다. 보상 설계는 correctness(0.30), format(0.15), graph-utility(0.25), NetworkX-validity(0.10), diversity(0.10), structure(0.10)의 가중합으로 정의되었다. graph-utility는 판정자가 graph_json만으로 재구성한 답을 채점해 그래프가 실제 정보를 보유하는지를 평가했고 diversity는 노드·엣지 텍스트 임베딩의 평균 유사도를 기반으로 중복을 억제했다. 구조 보상은 노드 수, 밀도, 내부노드 비율, DAG 깊이, 약한 연결성 등 위상 지표를 조합해 유의미한 지식을 담는 그래프 형상을 장려했다. 구현 세부로는 vLLM을 통한 빠른 후보 샘플링과 LoRA 적응만을 사용한 파라미터 업데이트로 계산 비용과 망각을 최소화했다. 훈련 데이터는 강한 teacher(GPT-5.1로 표기된 체계적 생성자)로부터 생성된 질의-정답-graph_json 삼중항과 약한 모델의 거부 응답을 포함했으며, 잘못 파싱되는 graph_json 항목은 데이터셋에서 제거되었다. 하드웨어는 A100-SXM4-80GB 또는 GH200 480GB를 사용했고 사이즈별 학습 예산은 논문 본문에 상세히 기재되었다.

성능 향상은 그래프-네이티브 추론 포맷에 관한 명시적 데이터와 teacher-distillation 품질에 의존한다는 한계가 있다. 베이스 모델의 원래 추론 능력 여부가 학습 동역학에 큰 영향을 주어, reasoning 모드가 없는 백본에서는 형식 습득에 더 많은 학습 자원이 필요했다. 또한 graph-utility 항목은 여전히 다른 보상 요소에 비해 낮은 값을 보이는 경향이 있어 그래프에 담긴 정보의 완전성 확보가 남은 과제이다.