ARC-AGI-3 벤치마크의 '사전 정보 없음' 전제에 대한 비판

커뮤니티 반응

벤치마크의 타당성에 대해 회의적인 반응이 주를 이루며, AI 지능 측정 방식의 근본적인 변화가 필요하다는 의견이 제시되었다.

01반대다수

ARC-AGI-3의 '사전 정보 없음' 전제는 지능의 작동 방식을 오해하고 있어 벤치마크로서 무용하다.

ARC-AGI-3 벤치마크는 AI와 인간을 사전 정보가 없는 상태에서 평가하지만, 이는 인간과 AI 모두가 이미 학습된 사전 지식과 인지 구조를 활용한다는 사실을 간과한다.

Gemini, GPT, Claude, Grok 등 주요 모델들은 모두 '사전 정보 없는 상태'라는 전제가 불가능하다는 동일한 결론을 도출했다.

인간은 진화적 적응과 생애 경험을 통해, AI는 훈련 데이터를 통해 항상 사전 지식을 활용하며, 이러한 지식 없이 작동하는 지능은 존재하지 않는다.

2024년 5월부터 2025년 10월까지 AI의 IQ는 80에서 130으로 상승했으나, 이후 130에서 정체되는 'AI IQ 벽' 현상이 관찰되고 있다.