ARC-AGI-3 보안 취약점 공개: 클라이언트 측 게임 변조 및 서버 취약점 분석

실용적 조언

로컬 테스트 시 에이전트가 env._game 속성에 접근하지 못하도록 래퍼 클래스에서 차단해야 한다.
서버 측에서는 reasoning 필드 저장 전 반드시 새니타이징 처리를 수행하고 스코어카드 생성에 대한 속도 제한을 도입해야 한다.

섹션별 상세

로컬 모드에서 에이전트가 게임 엔진의 내부 상태에 직접 접근하여 승리 조건을 조작할 수 있다. env._game 객체를 통해 플레이어 위치를 목표 지점으로 텔레포트하거나 game.next_level()을 호출하여 실제 플레이 없이 모든 레벨을 즉시 통과할 수 있다. 테스트 결과, 아무런 게임 플레이 없이도 5개 레벨을 완료하고 71.43점의 점수를 기록하는 것이 확인됐다. 이는 로컬 환경에서의 벤치마크 테스트 결과가 에이전트의 실제 지능이 아닌 단순한 메모리 조작으로 왜곡될 수 있음을 의미한다.

python

env = arc.make('dc22')
obs = env.step(GameAction.RESET)
game = env._game
for i in range(6):
    game.next_level()
obs = env.step(GameAction.ACTION1)
# Result: GameState.WIN, scorecard shows score=71.43, levels=5

로컬 모드에서 game.next_level()을 반복 호출하여 실제 플레이 없이 게임을 완료하는 취약점 예시

python

env = arc.make('dc22')
obs = env.step(GameAction.RESET)
game = env._game
game.fdvakicpimr.set_position(game.bqxa.x, game.bqxa.y)
# Player is now at (24,10) = goal position

게임 내부 객체에 직접 접근하여 플레이어 위치를 목표 지점으로 즉시 이동시키는 조작 예시

서버 측 취약점으로 인해 대회 모드(Competition Mode)의 안정성과 보안이 위협받고 있다. 클릭 기반 게임 25개 중 7개에서 ACTION6 명령을 보낼 때 500 Internal Server Error가 발생하여 전체 벤치마크의 28%를 평가할 수 없는 상태이다. 또한 액션 페이로드의 reasoning 필드에 입력된 스크립트가 필터링 없이 서버에 저장되어 리플레이 뷰어에서 실행되는 저장형 XSS 취약점이 확인됐다. 이는 공격자가 벤치마크 플랫폼을 통해 다른 사용자의 브라우저에서 임의의 자바스크립트를 실행할 수 있는 위험을 초래한다.

벤치마크의 공정성을 해칠 수 있는 민감한 정보들이 에이전트에게 노출되고 있다. arc.make() 호출 시 게임의 전체 Python 소스 코드가 로컬 디스크에 다운로드되어 에이전트가 승리 조건과 내부 로직을 사전에 학습할 수 있는 구조이다. 또한 대회 모드에서도 인간의 기준 행동 수(human baseline action counts)가 메타데이터를 통해 제공되어 에이전트가 최적의 전략 길이를 미리 파악할 수 있다. 이러한 정보 유출은 벤치마크가 측정하고자 하는 순수한 추론 능력을 오염시킬 우려가 크다.

용어 해설

저장형 크로스 사이트 스크립팅(Stored XSS): — 서버의 데이터베이스에 악성 스크립트를 저장한 뒤, 해당 데이터를 조회하는 사용자의 브라우저에서 스크립트가 실행되게 하는 웹 보안 취약점이다. 공격자가 리플레이 뷰어 등을 통해 타인의 세션을 탈취하거나 임의의 동작을 수행할 수 있어 위험도가 높다.
속도 제한(Rate Limiting): — 특정 시간 동안 클라이언트가 서버에 보낼 수 있는 요청의 횟수를 제한하는 기술이다. 무차별 대입 공격이나 자원 고갈 공격을 방지하여 서버의 안정성을 유지하고 공정한 자원 배분을 보장하는 역할을 한다.
추상 추론 벤치마크(ARC-AGI): — 인간 수준의 일반 인공지능(AGI)을 평가하기 위해 설계된 벤치마크로, 처음 보는 규칙을 얼마나 유연하게 학습하고 적용하는지 측정한다. 단순 암기가 아닌 추론 능력을 평가하는 것이 핵심이다.

언급된 도구

ARC-AGI-3중립

추상 추론 능력을 측정하기 위한 AI 벤치마크 플랫폼

arcengine중립

ARC-AGI 게임 실행을 위한 엔진 라이브러리

언급된 리소스

DemoARC-AGI-3 Replay Viewer