AI는 과학적 취향을 학습할 수 있다

기존 AI 과학자 연구가 실험 수행이나 코드 작성 같은 실행 능력에 집중했다면, 이 논문은 어떤 연구가 가치 있는지 판단하는 '과학적 취향'을 AI가 학습할 수 있음을 보여준다. 대규모 커뮤니티 피드백인 인용 수 데이터를 활용해 유망한 연구 아이디어를 선별하고 제안하는 새로운 학습 패러다임을 제시하여 인간 수준의 AI 과학자 구현에 한 걸음 다가갔다.

기존의 AI 과학자 연구는 주로 대규모 언어 모델(LLM)의 Attention Mechanism을 활용해 방대한 문헌에서 정보를 추출하거나, Gradient Descent를 통해 특정 실험 데이터를 잘 설명하는 파라미터를 찾는 '실행' 능력에 초점을 맞췄다. 하지만 실제 과학 연구의 핵심은 수많은 가능성 중 어떤 가설이 가장 유망한지 판단하는 '과학적 취향(Scientific Taste)'인데, 이는 단순한 데이터 최적화 문제로 정의하기 어려워 여전히 인간의 영역으로 남아 있었다.

이 논문은 과학적 취향이 주관적인 감각이 아니라 학계라는 커뮤니티가 오랜 시간 상호작용하며 쌓아온 집단적 선호도라는 점에 착안했다. 연구진은 인용 수(Citation counts)를 커뮤니티의 피드백 신호로 정의하고, 이를 활용해 AI가 어떤 연구 방향이 더 유망한지 스스로 깨닫게 하는 RLCF 기법을 도입했다. 이는 모델이 단순히 텍스트를 생성하는 것을 넘어, Embedding 공간 상에서 연구 아이디어의 본질적 가치를 비교하고 평가하도록 유도한다.

결과적으로 AI는 분야와 출판 시기가 비슷한 논문들을 짝지어 비교하는 과정을 통해 '왜 이 아이디어가 더 나은가'에 대한 논리적 추론을 학습한다. 이는 AI가 단순한 지식 검색기를 넘어, 연구의 맥락과 파급력을 이해하고 인간 과학자처럼 유망한 연구 주제를 선별할 수 있는 능력을 갖추게 됨을 의미한다.

RLCF(Reinforcement Learning from Community Feedback)는 커뮤니티의 집단 지성을 활용하는 3단계 학습 구조를 가진다. 먼저 동일 분야 및 시기의 논문들을 인용 수 차이에 따라 쌍으로 묶어 선호도 데이터를 구축하고, 이를 통해 판단 모델인 Scientific Judge를 훈련하며, 마지막으로 이 판단 모델을 보상으로 삼아 아이디어 생성 모델인 Scientific Thinker를 정렬한다.

Scientific Judge는 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 훈련된다. [두 논문의 제목과 초록을 입력으로] -> [사고 과정(Reasoning trace) 생성 및 더 나은 논문을 선택하는 연산을 수행해] -> [실제 인용 수 기반 정답과 비교한 보상 값을 얻고] -> [이 값이 1(정답)이 되도록 모델의 가중치를 업데이트한다.] 이 과정을 통해 모델은 논문의 일반성, 장기적 영향력, 인용 역학을 고려하여 판단하는 능력을 갖춘다.

Scientific Thinker는 Comparison-Based GRPO를 통해 훈련된다. [하나의 시드 논문을 입력으로] -> [모델이 G개의 후속 연구 아이디어를 샘플링하여 출력하고] -> [Scientific Judge가 이 아이디어들 간의 리그전(Round-robin tournament)을 수행해] -> [각 아이디어의 승률(Win rate)이라는 숫자를 계산한다.] 이 승률이 보상으로 작용하여, 모델은 열린 과제에서도 상대적 우위를 바탕으로 고영향력 아이디어를 생성하도록 최적화된다.

Scientific Judge(30B)는 SciJudgeBench에서 80.6%의 정확도를 기록하며 GPT-5.2-Thinking(72.7%) 및 Gemini-3.0-Pro(75.7%)를 포함한 모든 SOTA 모델을 능가했다. 특히 학습 데이터에 포함되지 않은 2025년 출판 논문에 대해서도 높은 성능 향상을 보여, 단순 암기가 아닌 일반화된 판단 능력을 습득했음이 확인됐다.

분야별 일반화 성능 측정 결과, 컴퓨터 과학(CS) 데이터로만 학습했음에도 불구하고 수학, 물리학 등 다른 학문 분야에서도 성능이 크게 향상되었다. 또한 ICLR 피어 리뷰 점수 예측 실험에서도 정확도가 상승하여, 인용 수 기반 학습이 학계의 전반적인 질적 평가 기준과도 높은 상관관계를 가짐이 입증됐다.

Scientific Thinker의 성능 평가에서는 훈련 전 베이스 모델 대비 81.5%의 승률을 기록했다. GPT-5.2, GLM-5, Gemini 3 Pro와 같은 강력한 상용 모델들과의 비교에서도 평균 54.2%의 승률을 달성하며, AI가 제안한 아이디어가 인간이 설계한 기존 모델들의 제안보다 더 높은 잠재적 영향력을 가질 수 있음을 보여주었다.

본 연구는 과학적 취향을 판단 능력(Judgement Capability)과 발상 능력(Ideation Capability)의 결합으로 정의하고 이를 수학적으로 정식화했다. 잠재적 영향력 I(p)를 시간 경과에 따른 기대 인용 증가량의 누적 합으로 정의하여 AI가 최적화해야 할 목적 함수를 명확히 했다.

보상 모델인 Scientific Judge는 생성형 보상 모델(Generative Reward Model) 구조를 채택하여, 단순 분류가 아닌 사고 과정(Chain-of-Thought)을 거친 후 최종 판단을 내리도록 설계되었다. 이는 모델이 논문의 표면적인 특징이 아닌 논리적 구조와 가치를 분석하게 만드는 핵심 요소다.

정책 모델 훈련에 사용된 Comparison-Based GRPO는 개별 샘플에 대한 절대적 점수 부여의 불안정성을 해결하기 위해 도입되었다. 그룹 내 상대적 승률을 보상으로 사용함으로써 보상의 분산을 줄이고, 정답이 정해지지 않은 창의적 생성 작업에서도 안정적인 수렴을 가능하게 했다.

데이터 편향을 제거하기 위해 SciJudgeBench 구축 시 동일한 arXiv 하위 카테고리와 유사한 출판 날짜(5일 이내)를 가진 논문들만 쌍으로 구성했다. 또한 평가 시에는 논문의 순서를 바꾸어 두 번 입력하는 Position-swap consistency 검증을 통해 모델의 위치 편향을 엄격히 통제했다.

인용 수는 커뮤니티 피드백의 불완전한 형태이며, 초기에는 인용이 적지만 나중에 큰 영향을 미치는 지연된 영향력을 완전히 포착하지 못할 수 있다. 또한 현재 모델은 주로 제목과 초록에 의존하여 훈련되었으므로, 논문 본문의 상세한 방법론이나 실험 결과까지 반영한 깊이 있는 판단에는 한계가 있을 수 있다.