통제된 환경에서 실제 환경으로: 실무적 펜테스팅 에이전트 평가 프로토콜

현실적 펜테스팅은 단일 정답이 아닌 탐색, 증거 해석, 우선순위 판단이 결합된 복합적 활동이므로 기존의 플래그 기반 벤치마크로는 배포 결정에 쓸모있는 정보를 제공하지 못한다. 이 연구는 평가의 단위를 '발견된 취약점의 검증'으로 이동시켜 실무적 의사결정에 직접 연결되는 지표를 만든다는 점에서 의미가 있다. 평가 결과가 운영 비용·재현성·중복 보고 문제를 함께 반영하도록 설계되어 실제 도입 시 더 신뢰할 수 있는 비교 근거를 제공한다.

펜테스팅은 단일 정답을 찾아내는 문제가 아니라 목표 시스템을 탐색하고 증거를 해석하며 우선순위를 정하는 의사결정 과정이다. 기존의 CTF·플래그 기반 평가들은 이러한 탐색적·전략적 성격을 단일 목표로 축소해 버리므로 실제 운영 환경에서의 유용성을 반영하지 못한다. 따라서 평가 단위를 '발견된 취약점의 검증'으로 바꾸면 무엇이 실무적으로 가치 있는 결과인지 직접적으로 측정할 수 있다. LLM 판정자는 자연어로 표현된 보고서와 정답 항목 간 의미적 유사성을 계산하여 후보 매칭 집합을 만든다. 이 단계는 보고서가 구체적이지 않거나 정답 정의가 추상적일 때 하나의 발견이 여러 정답에 적합해 보이는 상황을 허용한다. 이후 이분 매칭을 통해 발견들과 정답들 사이에서 최대 일대일 대응을 계산하면 동일 정답에 대한 중복 보고가 중복 집계로 이어지는 것을 방지할 수 있다. 에이전트의 확률적 특성은 단일 실행 결과만으로는 성능 판단을 제한한다. 반복 실행의 평균·표준편차는 단일 실행의 운에 따른 변동성을 드러내고, 누적 평가는 서로 다른 실행에서 발견되는 보완적 취약점들이 실제 캠페인 수준에서 어떤 가치를 생성하는지를 보여준다. 이 두 관점을 결합하면 단순한 SOTA 점수 대신 배포·운영 관점에서 더 실용적인 판단 기준을 얻을 수 있다.

전체 접근 방식은 평가 단위를 검증된 취약점 발견으로 고정하고, 보고서-정답 매칭을 통해 정밀도·재현율·중복 보고를 산출하는 절차로 구성되었다. 각 대상(target)에 대해 전문가가 작성한 jsonl 형식의 그라운드 트루스를 준비하고, 평가 시 에이전트가 제출한 발견물과 이 파일을 비교해 후보 매칭을 생성한다. 이 후보 매칭은 완전한 일대일 대응으로 바로 해석하지 않고 의미적 가능성들을 보존한 뒤 이분 매칭으로 해소한다. 매칭 단계는 먼저 LLM을 판정자로 활용해 각 발견물이 어떤 그라운드 트루스 항목들과 의미적으로 일치하는지 후보 집합을 반환하게 한다. 이때 판정은 보수적으로 여러 후보를 허용하도록 설계되어, 상세 정보가 부족하거나 정답 항목이 추상적일 경우에도 가능한 대응을 유지한다. 그 다음 단계에서는 후보들로 이루어진 이분 그래프에서 최대 매칭을 계산해 각 정답 항목에 대해 최대 하나의 발견만을 true positive로 인정한다. 통계적 처리는 현실적 제약을 반영하여 평균·표준편차 보고와 함께 저복제 환경에서의 검정·효과크기 병기를 권고한다. Welch의 t-검정이 기본 선택으로 제시되며 효과크기(Cohen의 d)를 병기해 표본 수가 작아 유의확률이 낮을 때도 실무적으로 의미 있는 차이를 평가하도록 했다. 마지막으로 효율성 측정 항목으로 총 실행 시간과 비용이 포함되며, 취약점 누적 추이를 시간 축으로 관찰해 수익 감소 구간을 찾아내는 절차를 추가하였다.

프로토콜 검증을 위해 Strix, PentAGI, Claude Code라는 세 엔진을 네 가지 LLM 백엔드(문서 상의 명칭 기준) 조합으로 평가했고, 세 개의 오픈소스 대상에서 전문가가 주석한 총 108개 취약점을 기준으로 실험을 수행하였다. 전반적으로 모든 설정에서 false negative가 많아 단일 실행만으로는 목표를 충분히 커버하기 어려운 것으로 나타났다. 각 설정은 재현율·정밀도·비용·시간 면에서 뚜렷한 차이를 보였고, 동일 LLM을 사용하더라도 에이전트 설계에 따라 누적 결과의 민감도가 달랐다. LLM 기반 매칭 검증 결과에서는 GPT 5.4 Mini 계열이 휴먼 트리아지 대비 비교적 낮은 오분류율을 보여 매칭 단계 판정 모델로 채택되었다. 누적 평가에서는 일부 조합이 반복 실행을 통해 재현율을 크게 개선했으나 동시에 정밀도가 저하되어 운영적 비용이 증가하는 사례가 관찰되었다. 예를 들어 Strix 계열은 반복 실행에서 재현율이 크게 오르며 누적 F0.5 성능이 개선된 반면, 다른 조합은 누적 시 중복·거짓양성 증가로 실무적 효용이 떨어졌다. 이 결과는 플래그 기반의 이진 성공 지표로는 드러나지 않는 탐색 패턴·중복 보고·확률적 다양성의 실무적 영향을 포착했다. 또한 비용과 시간 지표를 병행 측정함으로써 동일한 발견 품질이라도 실행 비용이 매우 다른 구성을 구별할 수 있었다. 마지막으로 역사적 전체 벤치 결과를 이용한 축소 시험군 선정 절차는 비용 제약 하에서 전체 평판을 비교적 잘 보존하는 실험 대안을 제공함이 확인되었다.

전체 평가 파이프라인은 각 대상에 대해 jsonl 형식의 정형화된 그라운드 트루스 파일을 준비하는 것으로 시작한다. 각 항목은 name, category, description, additional info 등 필드를 가지며 특정 심각도 이상 또는 관심 카테고리로 범위를 제한할 수 있다. 그라운드 트루스 항목의 구체성 수준은 매칭의 정확도에 직접적인 영향을 미치므로 너무 일반적이거나 지나치게 특정한 기술어 사용을 피해 중간 정도의 특이성을 유지하도록 권고되었다. LLM 기반 매칭 단계는 보고서와 모든 정답 항목을 LLM 입력으로 넣어 의미적 일치 후보 집합을 반환하도록 구성된다. 이 단계는 일대다 후보를 허용해 상세 정보 부족으로 인한 조기 배제를 막고, 이후 이분 매칭 단계에서 최종 할당을 수행하도록 설계되었다. 이분 매칭은 후보 간선으로 구성된 이분 그래프에서 최대 매칭을 계산하여 각 정답 항목이 최대 하나의 발견만 true positive가 되도록 보장한다. 예를 들어 세 개의 발견이 두 개의 정답과 후보로 연결된 경우 Hungarian 방식의 최대 매칭을 적용하면 중복 보고로 인한 과대 집계를 제거하고 합리적 일대일 대응을 확보할 수 있다. 통계적 비교는 반복 실행의 평균·표준편차 보고를 기본으로 하며, 표본 수가 작을 때는 Welch의 t-검정과 효과크기(Cohen의 d)를 병기하도록 설계되었다. Welch의 t-검정은 그룹 간 분산이 서로 다를 때에도 비교적 안정적인 검정을 제공하고, Cohen의 d는 관찰된 차이의 실무적 크기를 수치적으로 표현한다. 실험 비용을 줄이기 위한 축소 시험군 선정은 과거 전체 벤치 결과에서 각 대상의 비용과 전체 점수 간의 상관관계를 계산해 예산 제약(B) 내에서 Pearson 상관이 최대가 되도록 대상 집합을 선택하는 방식으로 구현되었다.

본 연구는 평가 프로토콜 자체에 초점을 맞추었으므로 새로운 대상군을 제공하지는 않았다. 누적 평가 관점에서는 크로스런 메모리나 환경 변화(패치 이후 연속 실행)에 대한 실험적 검증이 포함되어 있지 않다. 또한 안전성 관련 행동 제어(파괴적 행위 회피 등)에 대한 평가 항목은 프로토콜의 향후 확장 과제로 남겨졌다.