ARC-AGI-3 보안 취약점 공개: 클라이언트 측 게임 변조 및 서버 취약점 분석

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

ARC-AGI-3 플랫폼에서 로컬 게임 상태 조작, 서버 측 XSS, 특정 액션 시 서버 다운 등 벤치마크의 신뢰성을 위협하는 다수의 보안 취약점이 발견됐다.

배경

ARC-AGI-3 플랫폼의 보안 상태를 점검한 결과, 에이전트가 게임 로직을 우회하거나 서버에 악성 코드를 주입할 수 있는 심각한 결함들이 확인되어 이를 보고했다.

의미 / 영향

AI 벤치마크 설계 시 에이전트의 환경 접근 권한을 물리적으로 분리하는 샌드박스 구조가 필수적이다. 또한 서버 측 입력값 검증과 정보 노출 방지 처리가 병행되어야 벤치마크의 공정성과 시스템 안전성을 보장할 수 있다.

주요 논점

01중립다수

ARC-AGI-3 플랫폼의 보안 결함이 벤치마크의 신뢰성을 근본적으로 위협하고 있으므로 즉각적인 수정이 필요하다.

합의점 vs 논쟁점

합의점

로컬 모드에서의 직접적인 게임 상태 조작은 벤치마크 결과를 무의미하게 만든다.
서버 측 XSS 취약점과 500 에러는 플랫폼의 기술적 완성도에 심각한 결함이 있음을 보여준다.

논쟁점

대회 모드에서 서버 측 스코어링은 안전하지만, 소스 코드 사전 학습을 통한 최적화 문제는 여전히 해결하기 어렵다.

실용적 조언

로컬 테스트 시 에이전트가 env._game 속성에 접근하지 못하도록 래퍼 클래스에서 차단해야 한다.
서버 측에서는 reasoning 필드 저장 전 반드시 새니타이징 처리를 수행하고 스코어카드 생성에 대한 속도 제한을 도입해야 한다.

섹션별 상세

로컬 모드에서 에이전트가 게임 엔진의 내부 상태에 직접 접근하여 승리 조건을 조작할 수 있다. env._game 객체를 통해 플레이어 위치를 목표 지점으로 텔레포트하거나 game.next_level()을 호출하여 실제 플레이 없이 모든 레벨을 즉시 통과할 수 있다. 테스트 결과, 아무런 게임 플레이 없이도 5개 레벨을 완료하고 71.43점의 점수를 기록하는 것이 확인됐다. 이는 로컬 환경에서의 벤치마크 테스트 결과가 에이전트의 실제 지능이 아닌 단순한 메모리 조작으로 왜곡될 수 있음을 의미한다.

python

env = arc.make('dc22')
obs = env.step(GameAction.RESET)
game = env._game
for i in range(6):
    game.next_level()
obs = env.step(GameAction.ACTION1)
# Result: GameState.WIN, scorecard shows score=71.43, levels=5

로컬 모드에서 game.next_level()을 반복 호출하여 실제 플레이 없이 게임을 완료하는 취약점 예시

python

env = arc.make('dc22')
obs = env.step(GameAction.RESET)
game = env._game
game.fdvakicpimr.set_position(game.bqxa.x, game.bqxa.y)
# Player is now at (24,10) = goal position

게임 내부 객체에 직접 접근하여 플레이어 위치를 목표 지점으로 즉시 이동시키는 조작 예시

서버 측 취약점으로 인해 대회 모드(Competition Mode)의 안정성과 보안이 위협받고 있다. 클릭 기반 게임 25개 중 7개에서 ACTION6 명령을 보낼 때 500 Internal Server Error가 발생하여 전체 벤치마크의 28%를 평가할 수 없는 상태이다. 또한 액션 페이로드의 reasoning 필드에 입력된 스크립트가 필터링 없이 서버에 저장되어 리플레이 뷰어에서 실행되는 저장형 XSS 취약점이 확인됐다. 이는 공격자가 벤치마크 플랫폼을 통해 다른 사용자의 브라우저에서 임의의 자바스크립트를 실행할 수 있는 위험을 초래한다.

벤치마크의 공정성을 해칠 수 있는 민감한 정보들이 에이전트에게 노출되고 있다. arc.make() 호출 시 게임의 전체 Python 소스 코드가 로컬 디스크에 다운로드되어 에이전트가 승리 조건과 내부 로직을 사전에 학습할 수 있는 구조이다. 또한 대회 모드에서도 인간의 기준 행동 수(human baseline action counts)가 메타데이터를 통해 제공되어 에이전트가 최적의 전략 길이를 미리 파악할 수 있다. 이러한 정보 유출은 벤치마크가 측정하고자 하는 순수한 추론 능력을 오염시킬 우려가 크다.

실무 Takeaway

ARC-AGI-3 로컬 모드는 샌드박싱이 부족하여 에이전트가 메모리 상의 게임 객체를 직접 수정해 부정 점수를 획득할 수 있다.
서버 측 reasoning 필드의 입력값 검증 부재로 인해 저장형 XSS 및 시스템 자원 고갈 위험이 존재한다.
게임 소스 코드와 인간 베이스라인 데이터가 에이전트에게 노출되어 벤치마크의 변별력과 신뢰성이 훼손될 수 있다.

언급된 도구

ARC-AGI-3중립

추상 추론 능력을 측정하기 위한 AI 벤치마크 플랫폼

arcengine중립

ARC-AGI 게임 실행을 위한 엔진 라이브러리

언급된 리소스

DemoARC-AGI-3 Replay Viewer