AI 에이전트는 아직 개방형 AI 연구를 수행하지 못한다

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

두 편의 미공개 논문을 대상으로 한 그림자 평가에서 최첨단 AI 에이전트는 원저자들의 기대를 충족시키지 못했고, 원저자들이 에이전트 산출물을 명확히 거부했다. 로그 분석 결과 에이전트는 판단력 부족, 자원 인식 부족, 피드백을 전략적으로 통합하지 못함 등 개방형 연구에서 요구되는 핵심 역량에서 반복적인 약점을 보였다. 저자들은 이 결과가 예비적이라고 거듭 밝히며 그림자 평가를 확대하고 병목 요인을 추가로 조사할 계획임을 밝혔다.

섹션별 상세

연구 목적은 최첨단 AI 에이전트가 개방형 AI 연구 문제를 독립적으로 수행할 수 있는지 평가하는 것이며, 이를 위해 두 편의 미공개 논문을 원저자와 협업해 에이전트에게 맡겼다. 실험은 에이전트에 수천 달러 규모의 API 크레딧과 컴퓨트, 그리고 6일의 실사용 시간을 제공하고 에이전트가 생성한 초안을 원저자가 채점하도록 설계되었다. 이 접근은 에이전트가 인터넷에서 학습한 결과를 재활용하는 대신 원저자만 아는 질문을 해결하도록 하여 과적합 가능성을 낮추는 목적을 가진다.

근거

두 편의 원저자들은 에이전트가 작성한 논문 초안을 명확히 거부했다. — 본문 서두와 실험 결과 요약에서 '원저자들은 에이전트를 거부했다'는 결론을 직접 언급함; 원저자들이 에이전트 산출물을 검토했다고 기술됨.

주요 결과는 두 편 모두 원저자에게 명확히 거부당했다는 것으로, 거부 사유를 로그와 전문가 리뷰를 통해 정밀하게 추적했다. 팀의 로그 분석은 에이전트들이 개방형 연구에서 요구되는 판단력과 자원 인식, 피드백 통합 능력에서 반복적인 약점을 보였음을 밝힌다. 이러한 약점은 단순한 구현 오류가 아니라 탐색·재검토·전략 전환 같은 연구적 의사결정 과정 전반에서 관찰되었다는 점이 중요하다.

구체적으로 에이전트들은 질 낮은 또는 합성된 데이터에 근거해 유망한 방향을 빠르게 기각했고, 예산과 시간 관리를 제대로 수행하지 못해 사용 가능한 자원을 절반도 소진하지 못한 채 시간이 남아 있던 상황에서 비효율적 행동을 보였다. 또한 자체 생성한 자가검토(ai self-review)에서 문제점을 지적했음에도 창의적으로 대응하지 못하고 기존 발견에 조건을 붙이거나 비생산적 방향에 집착하는 경향을 반복했다. 이 결과는 에이전트가 피드백 루프를 통해 전략을 근본적으로 재구성하는 능력이 부족하다는 증거로 해석된다.

근거

에이전트들은 연구 수행에 필요한 판단력을 보이지 못했고, 질 낮은 데이터로 인해 유망한 방향을 일찍 포기했다. — 저자들이 로그 분석을 통해 에이전트의 결정 과정과 데이터 사용을 추적한 결과를 근거로 보고함; '낮은 품질 또는 합성 데이터'를 이유로 방향을 기각했다고 명시됨.
두 실험 모두 에이전트가 API 예산의 절반도 쓰지 못한 채 시간이 남아 있었으며 자원 인식이 부족했다. — 저자들은 예산 사용과 남은 시간을 구체적으로 관찰했음을 서술하며, 두 실행 모두 예산의 50% 미만 사용과 시간 여유를 보고함.

방법론적 의의로 연구진은 '그림자 평가' 방식을 제안하고 사용했으며, 이 방식은 에이전트가 훈련 데이터에서 직접 보지 못한 과제에 대한 외부 전문가 평을 가능하게 한다. 그림자 평가는 전문가가 몇 달간 매달린 과제를 에이전트가 어떻게 풀어내는지 비교할 수 있게 해 주므로 단순 벤치마크보다 개방형 연구 능력을 더 엄밀히 시험할 수 있다. 다만 평가자가 AI 생성물임을 알고 있다는 점, 표본수가 작다는 점, 설계 유연성으로 인한 해석 차이가 생길 수 있다는 한계도 본문에서 솔직하게 제시되었다.

근거

그림자 평가는 에이전트가 온라인에서 본 적 없는 문제를 시험하고 원저자가 결과를 직접 평가하게 만드는 장점이 있다. — 방법론 설명에서 그림자 평가의 장단점을 나열하면서 이점으로 '에이전트가 훈련에 포함되지 않은 문제'를 시험할 수 있다고 명시함.

시사점은 세 갈래로 요약된다: 첫째, 에이전트가 검증 가능한 좁은 과제에서는 빠른 진척을 보이지만 개방형 연구의 핵심 요소인 판단력과 창의성 측면에서는 아직 부족하다는 점이다. 둘째, 이러한 부족이 훈련·스캐폴딩(scaffolding) 개선으로 얼마나 빨리 극복될 수 있는지 측정해야 하며, 저자들은 정기적인 그림자 평가로 추적하겠다고 밝혔다. 셋째, 설령 에이전트 성능이 개선되어도 계산 자원, 실험 데이터 수집, 에너지 인프라 등 다른 병목이 전체 연구 속도를 제한할 수 있어서 RSI 도달 가능성에 대한 추정은 병목 분석과 함께 이뤄져야 한다.

용어 해설

Recursive self-improvement(RSI): — RSI는 AI가 스스로 연구와 개선을 반복하여 점진적으로 능력을 높이는 개념으로, 연구 자동화가 성공하면 모델 성능이 자기증식적으로 상승할 가능성이 제기된다. 본문은 RSI를 AI 연구 자동화의 장기 목표로 제시하고, 에이전트가 RSI에 기여할 수 있는지 실험적으로 평가하려 했다. RSI가 실현되면 일부 예측에서는 급격한 발전 경로가 생길 수 있다고 논의된다.
그림자 평가(shadow evaluations): — 그림자 평가는 원저자의 실제 연구 질문을 에이전트에게 주고 에이전트가 독립적으로 연구를 수행하도록 한 뒤 원저자가 결과를 평가하는 방식이다. 이 방식은 에이전트가 온라인에서 학습한 적 없는 과제에 대해 시험할 수 있고, 전문가가 직접 출력물을 비교 평가할 수 있다는 장점이 있다. 단점으로는 표본수가 작고 평가자가 AI 생성물임을 알기 때문에 편향이 생길 수 있음이 본문에서 지적된다.
검증 가능한 과제(Verifiable tasks): — 검증 가능한 과제는 성과를 바로 확인하거나 자동으로 채점할 수 있는 문제로, 벤치마크가 주로 이 범주에 속한다. 본문은 에이전트가 이런 좁고 검증 가능한 과제에서는 빠르게 개선을 보였으나 개방형 연구에서는 한계가 드러났다고 보고한다. 따라서 검증 가능한 과제 성과만으로 RSI 도달 여부를 판단하기 어렵다고 논의한다.
암달의 법칙(Amdahl's law): — 암달의 법칙은 전체 작업에서 일부만 병렬화 또는 가속될 때 전체 개선 폭이 제한된다는 원리로, AI 자동화의 일부만 가속되면 전체 연구 속도는 병목에 의해 제약받을 수 있다. 본문은 에이전트가 일부 단계를 빠르게 처리하더라도 남은 병목이 전체 진척을 제한할 가능성을 논점으로 제시했다. 이 논지는 RSI가 곧바로 폭발적 성장을 보장하지 않는 이유로 활용된다.

기술

API 크레딧
컴퓨트
AI self-review 도구
LLM 기반 에이전트
RL environments
벤치마크

활용 사례

에이전트를 활용해 검증 가능한 성능 지표가 있는 과제에서 효율과 속도를 개선하는 용도
에이전트를 사용해 연구 재현성을 검사하거나 반복 가능한 검증 가능한 서브태스크를 자동화하는 용도
에이전트의 한계를 규명해 연구 자동화의 병목을 찾고 인프라·데이터·평가 체계를 개선하는 용도