영국 AISI 평가: 오픈 웨이트 모델의 사이버 능력 격차 축소와 중국 Kimi K3의 성과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

영국 AI Security Institute의 공개 결과에서 오픈 웨이트 모델들이 좁은 사이버 과제 집합에서는 폐쇄형 최첨단 모델과의 성능 격차를 줄인 것으로 측정되었으며, 70개 평가에서 GLM-5.2는 약 4.3개월 앞서 공개된 Claude Opus 4.6에 근접한 성적을 보였다. 장기적 연쇄 작업을 평가하는 사이버레인지에서는 여전히 격차가 존재했고 The Last Ones라는 테스트에서는 GLM-5.2가 Opus 4.5 수준까지 도달한 반면 DeepSeek V4-Pro는 Sonnet 4.5 아래에 머물렀다. 중국의 Kimi K3는 2.8조 파라미터로 주요 벤치마크에서 상위권 성적을 기록했으나 벤치마크 특화로 인한 일반화 취약성 징후가 관찰되어 실제 복합 작업 성능은 추가 검증이 필요하다. 이러한 결과는 공개 가중치의 확산이 공격자 접근성을 높여 방어 측 준비 기간을 단축시키므로 정책적 대비와 추가 평가가 시급하다는 의미를 가진다.

섹션별 상세

영국 AI Security Institute(AISI)는 오픈 웨이트 모델과 폐쇄형 최첨단 모델 간의 사이버 능력 차이를 정량적으로 측정했고 그 결과 올해 격차가 줄어든 것으로 나타났다. 70개에 이르는 좁은 사이버 과제 평가에서 GLM-5.2는 Claude Opus 4.6에 가장 근접했는데 Opus 4.6은 GLM-5.2보다 약 4.3개월 먼저 공개된 모델이었다. 같은 평가에서 DeepSeek V4-Pro는 Claude Opus 4.5와 GPT-5의 중간 수준에 위치했으며, AISI는 이전 대부분의 2025년 기간에 관찰된 6~10개월의 평균 격차보다 이번 차이가 좁아졌다고 명시했다. 이러한 결과는 공개 가중치의 접근성 증가로 인해 특정 좁은 목표 성능에서는 오픈 모델이 거의 대등한 수준까지 따라온다는 점을 시사한다.

근거

AISI는 좁은 사이버 과제 70개 평가에서 GLM-5.2가 Claude Opus 4.6에 가장 근접했다고 보고했으며 Opus 4.6은 약 4.3개월 앞서 출시되었다. — 본문 'Specific details' 단락, 70개 평가에 대한 비교 설명 출처
AISI는 전반적 추세로 2025년 대부분에 관찰된 6~10개월의 격차보다 올해 오픈 모델과 폐쇄형 모델 간 격차가 좁아졌다고 밝혔다. — 본문 첫 문단과 'Specific details' 비교 문장 출처

장기적이고 연쇄적인 작업을 평가하는 사이버레인지에서는 오픈 모델과 폐쇄형 모델 사이의 차이가 여전히 존재하며 일부 모델은 벤치마크 특화로 인한 취약성을 보였다. AISI가 거론한 The Last Ones라는 장기 사이버레인지에서 GLM-5.2는 Opus 4.5 수준까지 도달했으나 DeepSeek V4-Pro는 Sonnet 4.5보다 낮은 성능을 보였고, 이 차이는 좁은 과제에서 관찰된 격차보다 컸다. 중국의 Kimi K3는 2.8조 파라미터 규모로 주요 벤치마크에서 Claude Fable 5와 GPT 5.6 Sol에 근접하거나 다소 뒤처지는 성적을 보였으나 일부 지표에서는 벤치마크 튜닝 징후(benchmaxxing)와 모델의 취약성이 관찰되었다. 이런 특성은 공개된 고성능 모델이 실사용 환경에서의 일반화 능력과 안전성 측면에서 여전히 주의가 필요하다는 점을 의미하며 방어 측면에서 준비 시간이 짧아진다는 정책적 함의를 낳는다.

근거

Kimi K3는 2.8조 파라미터 모델로 주요 벤치마크에서 Claude Fable 5와 GPT 5.6 Sol과 유사한 성적을 보였으나 벤치마크 특화로 보이는 취약성이 관찰되었다. — Kimi 관련 단락, 파라미터 수 및 벤치마크 성적 언급

용어 해설

Open weight model: — 모델의 학습된 가중치가 공개되어 누구나 다운로드·사용·수정할 수 있는 대형 언어모델로, 접근성과 재현성이 높아 보안·윤리 관점에서 통제가 어려운 위험을 동반한다. 공개 가중치는 연구자와 공격자 모두가 동일한 모델을 직접 실행해 성능을 검증하거나 악용 사례를 재현할 수 있기 때문에 사이버 위협 평가에서 핵심 변수가 된다.
Cyberrange: — 모의 해킹 시나리오와 연쇄적 과제들을 포함해 시스템의 공격·방어 역량을 종합적으로 평가하는 테스트 환경으로, 개별 기술 능력을 연쇄적으로 결합해 장기적 목표를 달성하는 능력을 측정하는 데 사용된다. 여러 단계와 툴체인을 포함하는 복합적 작업에서 모델의 일반화·계획 능력을 검증할 수 있다는 점에서 사이버 보안 평가에 중요하다.
Benchmaxxing: — 벤치마크 점수를 최대화하도록 모델을 특화 · 튜닝하는 관행으로, 특정 벤치마크에서 높은 점수를 얻기 위해 과적합 유사 방식의 최적화가 이뤄지면 실제 일반화 성능이 저하될 수 있다. 벤치맥싱이 의심되면 벤치마크 성적이 실사용·장기작업 성능을 과대평가할 가능성이 커진다.
Model brittleness: — 일부 입력 분포나 작업에서는 높은 성능을 보이지만 입력이 조금만 달라지면 성능이 급락하는 현상으로, 벤치마크 중심 튜닝과 데이터 분포 편향이 원인일 수 있다. 사이버 작업처럼 연쇄적인 능력이 필요한 환경에서는 이러한 취약성이 전체 작업 성공률을 크게 떨어뜨린다.

언급된 리소스

문서How Far Behind the Frontier are Leading Open Weight Models on Cyber? (UK AI Security Institute blog)

영국 AISI 평가: 오픈 웨이트 모델의 사이버 능력 격차 축소와 중국 Kimi K3의 성과

TL;DR

섹션별 상세

용어 해설

언급된 리소스

관련 토론

댓글

관련 기사

오픈 웨이트 경쟁과 보안·정책 논의 속 Kimi K3·Qwen 3.8·GLM 사건

GLM-5.2가 오픈 에이전트의 가능성을 재정의하다

Kimi K3 수치 검토 및 가중치 공개 임박으로 본 오픈 모델의 위상 변화

Moonshot의 Kimi K3: 오픈 웨이트 모델의 새로운 강자 혹은 과대평가된 모델?

GPT-5.6 공개와 사이버 능력 평가 및 벤치마크 비교