AI 과학자들은 과학적 추론 없이 결과를 생성한다

최근 자율적으로 연구를 수행하는 AI 과학자 시스템이 늘어나고 있지만, 이들이 도출한 결과가 과학적 방법론에 근거한 것인지에 대한 의문이 제기되고 있다. 본 연구는 LLM 기반 에이전트가 실제로는 과학적 추론 과정을 따르지 않고 통계적 패턴에 의존해 결과를 '생산'할 뿐이라는 한계를 지적하며, 에이전트 구조 개선보다 베이스 모델 자체의 추론 능력 학습이 시급함을 시사한다.

기존의 AI 과학자 평가는 단순히 '정답을 맞혔는가'라는 결과 중심의 벤치마크에 치중되어 있었다. 하지만 과학적 지식은 정답 여부뿐만 아니라 그 결론에 도달하기까지의 '정당화된 과정'이 필수적이다. 본 연구는 에이전트의 행동을 인식론적 관점에서 그래프로 구조화하여, 모델이 실제로 가설을 세우고(H), 실험을 설계하며(T), 증거를 수집하고(E), 신념을 갱신하는지(U) 분석했다.

분석 결과, LLM 에이전트는 Transformer의 Self-Attention을 통해 학습된 통계적 상관관계에 따라 다음 토큰을 예측할 뿐, 수집된 데이터(Evidence)와 가설(Hypothesis) 사이의 논리적 모순을 해결하려는 의지가 없다. 이는 마치 실험 결과가 나왔음에도 이를 무시하고 미리 정해둔 결론을 써 내려가는 것과 같다.

결국 에이전트가 복잡한 워크플로를 실행할 수는 있어도, 예상치 못한 데이터가 나왔을 때 스스로 오류를 수정하는 과학적 자기 교정(Self-correcting) 메커니즘이 결여되어 있음을 보여준다. 이는 모델의 추론 과정 자체가 학습의 목표(Training target)가 되지 않는 한 해결하기 어려운 문제이다.

에이전트의 정책을 베이스 모델(πLLM)과 스캐폴드(πscaffold)의 합성 함수로 정의하는 LDP(Language Decision Process) 프레임워크를 채택했다. [에이전트 상태와 도구 설명 입력] → [LLM의 토큰 생성 및 스캐폴드의 도구 라우팅 연산] → [환경의 관측값 반환] → [상태 갱신 및 반복] 과정을 통해 에이전트가 상호작용한다.

인식론적 분석을 위해 에이전트의 로그(Trace)를 가설(H), 테스트(T), 증거(E), 판단(J), 갱신(U), 확언(C) 노드로 분류하고 이들 사이의 의존 관계를 유향 그래프(Directed Graph)로 변환했다. [텍스트 로그 입력] → [Claude 4.5를 이용한 노드 및 엣지 할당 연산] → [추론 그래프 생성] → [과학적 추론 패턴의 빈도 계산] 순으로 분석이 진행된다.

또한 IRT(Item Response Theory)를 적용하여 모델의 잠재적 능력(Latent Ability)을 측정했다. [도메인별 지식 및 추론 문항 응답 입력] → [2-parameter logistic 모델 연산] → [지식 능력(θK)과 추론 능력(θR) 산출] → [벤치마크 성공률과의 상관관계 분석]을 수행하여 성능의 근원을 파악했다.

실험 결과, 베이스 모델의 능력이 에이전트 성능의 핵심 변수임이 확인되었다. 분산 분석 결과 모델 정체성이 설명된 분산의 41.4%를 차지한 반면, 스캐폴드 선택은 1.5%에 그쳤다. 특히 가설 기반 과제(Inorganic Qualitative Analysis 등)에서 모델 간 성능 격차가 5.3 표준 단위 이상으로 벌어졌다.

행동 분석에서는 심각한 결함이 발견되었다. 전체 추론 로그의 68%에서 수집된 증거가 무시되었으며, 가설을 테스트하지 않고 결론을 내리는 'Untested claim' 패턴이 53%에 달했다. 반면 과학적 탐구의 핵심인 '반증에 의한 신념 수정(Refutation-driven belief revision)'은 단 26%의 사례에서만 나타났다.

신뢰성 분석(Pass^k)에서는 가설 기반 도메인의 경우 시도가 반복될수록 성공 확률이 급격히 감소했다. 이는 에이전트가 실패로부터 배우지 못하고 동일한 비논리적 오류를 반복하기 때문이며, 성공적인 경로를 일부 주입하는 개입 실험에서도 토큰 수준의 확신도가 낮은 도메인에서는 성능 복구가 이루어지지 않았다.

본 연구는 Corral이라는 오픈소스 프레임워크를 통해 8개 도메인(분자 시뮬레이션, 역합성 계획, 회로 추론 등)의 환경을 표준화했다. 각 환경은 FastAPI 서버로 구현되어 에이전트와 HTTP 통신을 수행하며, 도구의 설명 수준(Verbosity)을 3단계로 조절하여 정보량이 성능에 미치는 영향을 통제했다.

통계 모델링에서는 8개의 베이전 일반화 선형 모델(M1-M8)을 비교하여 M7(능력 x 환경-범위 상호작용 모델)이 가장 우수한 예측력을 가짐을 PSIS-LOO 교차 검증으로 확인했다. 이는 모델의 추론 능력이 특정 도메인과 과제의 복잡도에 따라 다르게 발현됨을 수학적으로 뒷받침한다.

추론 로그 주입(Trace Intervention) 실험에서는 이전 실행의 성공/실패 궤적을 컨텍스트에 포함시켰다. 워크플로 실행 과제에서는 초기 단계의 성공 궤적만으로도 성능이 크게 개선되었으나, 가설 기반 과제에서는 최종 결론 직전의 궤적까지 주입해야만 성능이 반등하는 '비복구적(Unrecoverable)' 특성을 보였다.

본 연구는 ReAct와 구조화된 도구 호출이라는 두 가지 단순한 스캐폴드만을 평가 대상으로 삼았으며, 다중 에이전트 토론이나 계층적 계획 수립과 같은 복잡한 오케스트레이션 기법은 포함하지 않았다. 또한 모델당 20-40회의 호출 제한을 두었으므로 더 큰 컴퓨팅 예산 하에서의 행동 변화는 확인되지 않았다.