ARC-AGI-3 벤치마크에서 LLM 없이 결정론적 알고리즘으로 성과 달성

실용적 조언

반복적인 클릭 문제를 해결하기 위해 이전 동작과 현재 상태를 비교하는 공간 메모리 게이트를 구현할 것.

섹션별 상세

ARC-AGI-3 벤치마크의 동적 환경에서 기존 LLM 기반 에이전트들은 실시간 공간 루프 처리에 실패하며 0%에 가까운 점수를 기록함. 작성자는 LLM과 트랜스포머 네트워크를 완전히 배제하고 Python 기반의 결정론적 컴퓨터 비전 알고리즘을 설계함. 이 알고리즘은 그리드 배열을 파싱하고 객체 중심점을 계산하여 클릭 액션을 수행하는 휴리스틱 방식을 사용함. 14년 된 AMD FX-8350 CPU와 GTX 970 환경에서 4.76%의 점수를 기록하며 일부 LLM 모델보다 나은 성과를 보임. 알고리즘의 효율성 문제로 인해 과도한 클릭이 발생하여 점수 페널티를 받았으며, 이를 해결하기 위해 공간 메모리 게이트를 도입하여 반복 동작을 제어할 계획임.

용어 해설

ARC-AGI-3: — 추상적 추론 능력을 평가하기 위한 ARC Prize 2026의 대화형 벤치마크 트랙으로, 에이전트가 동적 환경에서 실시간으로 문제를 해결하는 능력을 측정함.
휴리스틱(Heuristic): — 복잡한 문제 해결을 위해 최적의 해 대신 경험적이고 직관적인 규칙을 사용하여 빠르게 근사치를 찾는 방법론.
공간 기억(Spatial Memory): — 에이전트가 이전에 수행한 동작이나 환경의 공간적 상태를 기억하여 반복적인 실수를 방지하고 효율적인 경로를 계획하는 메커니즘.

언급된 도구

ARC-AGI-3중립

추상적 추론 및 에이전트 성능 평가 벤치마크

NVIDIA GeForce GTX 970중립

에이전트 구동용 하드웨어

AMD FX-8350중립