25,000번의 실험으로 밝혀진 AI 과학자의 치명적 결함: 증거 무시와 가설 수정 실패

연구 결과가 보여주는 AI의 논리적 한계에 대해 비판적인 시각이 지배적이며, 단순한 엔지니어링 이상의 접근이 필요하다는 공감대가 형성되었다.

• AI 에이전트를 연구 보조로 활용할 때, 모델이 수집된 데이터를 실제 결론에 반영했는지 인간이 반드시 교차 검증해야 한다.
• 단순히 복잡한 프롬프트 프레임워크를 적용하는 것이 모델의 논리적 정확성을 보장하지 않음을 인지해야 한다.

• AI 과학자 에이전트는 실험 데이터의 68%에서 수집된 증거를 무시하고 결론을 내리는 비과학적 행태를 보였다.
• 모순된 데이터가 주어져도 가설을 수정하는 비율은 26%에 불과하여 베이지안 업데이트와 같은 과학적 사고 방식이 결여되어 있다.
• ReAct나 CoT 같은 기존의 프롬프트 프레임워크와 스캐폴딩 기술은 AI의 이러한 근본적인 추론 결함을 해결하지 못했다.