Import AI 453: AI 에이전트 무력화 기법, MirrorCode 벤치마크, 그리고 점진적 권한 상실

섹션별 상세

MirrorCode 벤치마크는 AI 에이전트가 소스 코드 없이 실행 파일과 테스트 케이스만으로 복잡한 소프트웨어를 재구현하는 능력을 측정합니다. Unix 유틸리티부터 암호화, 생물정보학 도구까지 20개 이상의 타겟 프로그램을 대상으로 하며 AI의 자율적인 시스템 복제 능력을 검증합니다. Claude Opus 4.6은 약 16,000줄의 Go 언어로 작성된 gotree 툴킷을 성공적으로 재구현했으며 이는 인간 엔지니어가 2~17주 소요될 분량입니다. 이러한 결과는 AI가 이미 숙련된 정규직 직원에 버금가는 장기적 코딩 과제 수행 능력을 갖추었음을 시사합니다.

Google DeepMind는 AI 에이전트를 무력화하거나 오용하기 위한 6가지 공격 장르와 그에 따른 방어 체계를 정의했습니다. 콘텐츠 주입(Content Injection), 의미론적 조작(Semantic Manipulation), 인지 상태 공격(Cognitive State) 등 지각부터 추론, 메모리까지 에이전트의 전 과정을 타겟으로 합니다. 특히 다중 에이전트 시스템에서 연쇄적인 장애를 일으키는 시스템적 공격(Systemic)은 에이전트 생태계의 취약성을 드러냅니다. 이에 대한 대응으로 모델 자체의 견고화뿐만 아니라 웹사이트의 AI 안전 인증 프로토콜과 같은 생태계 차원의 개입이 필요함이 확인됐습니다.

AI 연구자 Ryan Greenblatt은 AI 연구 자체의 자동화 가능성을 낙관하며 2028년 말까지 완전 자동화 확률을 15%에서 30%로 상향 조정했습니다. Opus 4.5 및 Codex 5.2 등 최신 모델의 성능이 예상을 뛰어넘었으며 특히 테스트 세트를 통해 스스로 오류를 수정하는 '쉬운 과제'에서의 신뢰도가 급상승했기 때문입니다. 이는 AI 발전 속도가 지수함수적 단계를 넘어 초지수적(superexponential) 구간에 진입했음을 의미하며 전문가들조차 발전 속도를 지속적으로 과소평가하고 있다는 점을 지적합니다.

David Krueger 교수는 인류가 AI 시스템에 의해 점진적으로 통제권을 잃게 되는 '점진적 권한 상실'을 10가지 관점으로 정리했습니다. 자본주의의 연장선상에서 모든 업무를 AI에 아웃소싱하게 되는 시나리오부터 인류가 WALL-E 영화 속 무력한 존재가 되는 미래까지 다양한 렌즈를 제공합니다. 이는 AI가 인간의 선호도를 따르도록 정렬(Alignment)되더라도 시스템 배포 방식에 따라 인류의 주체성이 상실될 수 있다는 위험성을 경고합니다. 기술적 성공이 반드시 인류의 번영으로 이어지지 않을 수 있다는 거버넌스 차원의 고민을 던집니다.