환경 진화로 확장하는 에이전트 레드팀

왜 중요한가

기존 에이전트 안전 벤치마크는 짧고 정적인 작업에 치우쳐, 초기 상태 변화가 긴 실행 뒤에 안전 위반으로 이어지는 과정을 충분히 포착하기 어려웠습니다. OpenART는 작업 목표와 안전 계약을 고정한 채 대상 에이전트가 보는 환경 상태만 바꾸고, 10K개 시나리오와 75개 에이전트·모델 구성을 같은 기준으로 실행합니다. EMHA를 적용한 Strict ASR이 전체 구성에서 85.0%에 이르고 복잡한 시나리오에서 instruction-only 진화보다 17.2–17.6% 높아, 에이전트 안전을 모델 성능만이 아니라 런타임과 지속 상태의 상호작용으로 봐야 할 근거를 제공합니다.

핵심 기여

대규모 상태ful 에이전트 안전 경기장

OpenART는 500K개가 넘는 Tools, MCPs, Skills에서 실행 가능한 워크플로를 구성해 50개 도메인의 10K개 이상 검증 시나리오를 구축합니다. 각 시나리오는 benign task objective, 초기 환경, hidden safety contract, evaluator를 함께 고정하며, 자동 검증과 human expert audit을 통과한 번들만 포함합니다. 중앙값 97회의 tool call과 99.3% evaluator 정확도를 통해 짧은 프롬프트보다 지속 상태와 긴 실행을 평가하는 단위를 마련합니다.

에이전트 간 의미 보존형 실행 투영

target-agnostic 시나리오를 15개 deployed agent의 native interface로 옮기는 lightweight target-specific adapter를 구성합니다. adapter는 동일한 작업 목표와 evaluator를 유지하면서 각 런타임이 지원하는 Workspace, Instructions, Skills, Tools, MCPs, Short-Term Memory, Plan State, Long-Term Memory 가운데 허용된 표면에만 상태를 투영합니다. 그 결과 5개 foundation model과 결합한 75개 agent–model configuration을 직접 비교할 수 있습니다.

피드백 기반 환경 진화 정책 EMHA

Evolutionary Markov Hypergraph Attack은 대상 모델의 파라미터를 업데이트하지 않고 외부 attacker state에 실행 피드백, 경로 값, 그래프 집단을 저장합니다. 하이퍼그래프의 선행·후속 하위 목표를 따라 환경 변경 경로를 만들고, evaluator가 반환한 성공 신호를 선택된 전이에 재분배해 다음 탐색을 조정합니다. archive와 quality-diversity population을 함께 사용해 한 번 성공한 공격뿐 아니라 서로 다른 의존 구조를 가진 후보도 보존합니다.

복잡도와 런타임 구현의 영향 측정

OpenART는 dependency depth, parallel width, state objects, file formats를 포함해 기존 벤치마크보다 긴 실행 구조를 정량화합니다. EMHA의 pooled Strict ASR은 75개 구성에서 85.0%였고, 복잡도가 높아질수록 instruction-only 진화 대비 격차가 1.8–2.7%에서 17.2–17.6%로 커졌습니다. foundation model과 benign completion을 통제한 뒤 target-agent identity를 추가하면 ASR 변동 설명력이 91.3%에서 98.9%로 7.6% 증가했습니다.

핵심 아이디어 이해하기

일반적인 language-model 상호작용에서는 한 번의 입력과 출력이 평가 단위가 되지만, 에이전트는 Tools와 Memory를 통해 공유 환경을 반복해서 읽고 수정합니다. 따라서 초기에 benign해 보이는 상태 변경이 이후 계획, 검색, 파일 처리에 남아 있다가 긴 실행 뒤 unsafe output으로 이어질 수 있습니다. OpenART는 이 누적 효과를 보기 위해 단일 prompt가 아니라 benign task objective, persistent environment, hidden safety contract를 함께 묶은 scenario를 기본 평가 단위로 삼습니다.

OpenART의 환경 진화는 task objective와 evaluator를 바꾸지 않고 target-visible state만 수정하는 절차입니다. attacker가 현재 상태와 이전 실행 기록에서 변경 집합을 제안하면 target adapter가 해당 변경을 런타임이 지원하는 native location으로 투영하고, 에이전트가 원래 task를 다시 실행한 뒤 evaluator가 trajectory와 새 상태를 판정합니다. 이렇게 입력은 현재 환경과 attacker state, 처리 과정은 authorized projection과 에이전트 실행, 출력은 다음 상태와 safety feedback으로 이어지므로 성공률 상승이 목표 변경이 아니라 상태 진화의 효과를 반영합니다.

EMHA는 이 진화를 단일 instruction 변형이 아니라 연결된 하위 목표들의 경로 탐색으로 처리합니다. 하이퍼그래프에서 현재 활성 목표에 연결된 전이를 고르고, 선택된 경로를 frozen attacker model이 실행 가능한 환경 변경으로 디코딩한 뒤, 결과 점수를 soft path policy와 archive에 반영합니다. 복잡한 워크플로에서는 개별 변경이 즉시 문제를 일으키지 않아도 여러 변경이 provenance, plan, capability, memory를 거쳐 결합되므로, 첫 상태를 한 번 검사하는 정적 평가보다 여러 라운드의 환경 진화가 잠재된 실패를 더 많이 드러냅니다.

방법론

시나리오 생성은 scenario seed와 500K개가 넘는 capability corpus에서 시작합니다. planner가 seed에 맞는 Tools, MCPs, Skills를 검색해 benign objective, 노출할 evidence, protected state, evaluator를 포함한 시나리오 모델을 만들고, 이를 dependency graph로 컴파일해 초기 실행 환경을 생성합니다. workflow graph의 각 vertex는 환경 연산이며 edge는 의존성을 뜻하고, acceptance test는 capability 해석, workspace와 safety contract의 일치, safe·unsafe 결과에 대한 evaluator 판별을 확인한 뒤 실패한 번들을 planner repair 단계로 되돌립니다.

검증된 환경은 특정 에이전트에 종속되지 않은 상태로 유지한 뒤 runtime별 adapter를 통해 투영합니다. attacker가 제안한 변경 집합 Δt는 지원되는 attack vector에 속하고, 허가된 native location으로 매핑되며, runtime validation을 통과한 항목만 materialized update mt로 남습니다. target agent는 투영된 상태에서 원래 benign task를 수행하고, 시스템은 trajectory, 갱신된 environment state, deterministic evaluator 결과를 기록해 다음 라운드의 입력으로 사용합니다.

EMHA는 각 라운드에서 attacker state Ct에서 context를 회수하고 candidate hypergraph와 path를 선택한 뒤 frozen model로 Δt를 생성합니다. hyperedge는 여러 선행 subgoal을 후속 subgoal에 연결하며, 현재 활성 집합에 맞는 ready hyperedge를 골라 경로를 확장하고, evaluator feedback은 해당 경로 전이의 Q value에 재분배됩니다. archive는 behavior cell마다 최고 fitness 후보를 남기고 두 graph-edit kernel이 offspring를 만들며, 다음 population은 기존 후보, archive elite, offspring를 합쳐 갱신하므로 parameter update 없이 외부 상태와 그래프 탐색만 진화합니다.

주요 결과

OpenART는 50개 도메인의 10K개 validated scenario를 15개 deployed agent와 GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro의 5개 foundation model에 조합했습니다. 기존 비교 대상의 tool call 중앙값이 1–15회인 반면 OpenART는 97회였고, dependency depth 32, parallel width 12.5, state objects 96.5, file formats 7.5를 기록했습니다. 10% 별도 audit에서 human expert가 evaluator의 99.3%를 정확하다고 판정해 deterministic evaluator와 GLM-5.2 judge를 함께 쓰는 Strict ASR 산출의 기반을 마련했습니다.

EMHA의 pooled Strict ASR은 75개 agent–model configuration에서 85.0%였습니다. DeepSeek-V4-Pro와 matched attack budget을 사용한 ablation에서는 Workspace 단독 진화가 instruction-only보다 10.9% 높은 92.5%를 기록했고, Full EMHA는 94.7%로 instruction-only보다 13.1%, 최강 단일 vector보다 2.2% 높았습니다. archive를 제거하면 Strict ASR이 3.9% 낮아지고 credit redistribution을 제거하면 2.6% 낮아져, 두 외부 탐색 구성요소가 성공 경로의 재사용과 개선에 기여했음을 확인했습니다.

환경 진화 라운드를 거치며 DeepSeek-V4-Pro의 cumulative Strict ASR은 첫 라운드 42.9%에서 69.4%, 73.5%, 89.8%, 94.7%로 상승했습니다. GPT-5.5에서 Full EMHA와 instruction-only의 격차는 dependency depth와 tool calls가 증가할 때 1.8–2.7%에서 17.2–17.6%로 확대됐고, evolved state를 처음 읽은 뒤 unsafe sink에 도달하기까지의 propagation distance 중앙값은 37 target actions였습니다. 세부 trace에서는 stale assumptions, safety decision의 downstream 전파, 여러 benign change가 결합해 위험을 만드는 compositional failure가 반복적으로 관찰됐습니다.

기술 상세

시나리오 생성에서 capability 집합 Dq와 scenario model Sq가 먼저 구성되고, compiler F가 이를 초기 환경 x0,q로 물질화합니다. workflow graph Gq의 edge는 선행 연산과 후속 연산의 순서를 제한하며, 각 vertex의 입력은 초기 resource 또는 ancestor vertex의 출력에서 공급됩니다. acceptance test A는 실행 가능성뿐 아니라 deterministic evaluator가 safe outcome에는 0, unsafe outcome에는 1을 반환하는지 확인하므로, 공격 과정에서 evaluator 자체가 바뀌지 않습니다.

런타임 투영은 제안된 변경 Δt 중 허가된 항목만 adapter Πr를 통해 mt로 변환합니다. 항목은 runtime이 지원하는 attack vector에 속해야 하고, native location으로 매핑되며, validation 조건 νr을 만족해야 target agent에 전달됩니다. 이후 target의 trajectory ξt와 새 상태 xt+1을 evaluator Eq에 넣어 Yt를 계산하며, 실험의 Strict ASR은 deterministic decision Di와 GLM-5.2 judge decision Li가 모두 1인 비율인 $1/N$ 곱하기 합계 $𝟙\{D_i=1 \land L_i=1\}$ 로 산출됩니다. 여기서 N은 평가한 공격 수이고, 두 판정 중 하나라도 실패하면 해당 실행은 성공률에 포함되지 않습니다.

EMHA의 경로 선택은 Q value와 온도 τQ를 이용한 softmax 정책으로 수행됩니다. 각 eligible hyperedge e의 선택 확률은 $\exp(Q_C(q,e)/τ_Q)$ 를 현재 상태에서 선택 가능한 모든 전이의 같은 값의 합으로 나눈 값이며, Q value가 높을수록 선택 가능성이 커지고 τQ가 높을수록 탐색 분포가 평평해집니다. 실행 뒤 새 최고 점수가 생긴 라운드의 증가분을 경로 전이에 나누어 반영하고, archive와 population을 graph-edit kernel로 갱신하므로 attacker model의 파라미터 θ는 모든 라운드에서 θt+1=θt=θ0로 유지됩니다.

한계점

target-agent identity가 ASR 변동을 추가로 설명한다는 통계적 결과는 확인됐지만, 해당 연관성의 구체적인 내부 메커니즘은 규명하지 않았습니다. 논문은 agent implementation이 safety에 기여한다고 보고하지만, 어떤 runtime 구성요소가 어떤 실패를 직접 일으켰는지까지 식별하지 않습니다. 따라서 7.6%의 추가 설명력은 구현 차이의 영향 신호로 해석되며 특정 원인에 대한 인과적 결론으로 확장되지 않습니다.

실무 활용

OpenART는 에이전트가 실제 런타임의 Workspace, Tools, MCPs, Skills, Memory를 장기간 사용하는 조건에서 안전성을 반복 측정하는 평가 기반으로 활용할 수 있습니다. 동일 scenario와 evaluator를 여러 agent–model configuration에 투영하므로 모델 교체와 런타임 교체의 영향을 분리해 비교할 수 있습니다. 저장소가 공개되어 있어 연구자는 시나리오 구성, adapter 실행, EMHA 기반 환경 진화를 재현하는 출발점으로 사용할 수 있습니다.

여러 coding agent의 장기 워크플로 안전성 비교에 활용할 수 있습니다. 동일한 benign task objective와 hidden safety contract를 각 native interface에 투영한 뒤 Strict ASR과 benign task completion을 함께 측정하면 모델 능력과 런타임 구현의 차이를 나누어 볼 수 있습니다. 특히 tool call, dependency depth, memory 사용이 긴 작업에서 정적 prompt 평가가 놓치는 실패를 확인할 수 있습니다.
도구와 MCP를 사용하는 에이전트의 환경 표면별 취약성 점검에 활용할 수 있습니다. adapter가 지원하는 Workspace, Instructions, Skills, Tools, MCPs, Short-Term Memory, Plan State, Long-Term Memory를 개별 또는 조합해 진화시키고, evaluator가 safe completion과 protected state 노출을 동시에 판정합니다. 단일 instruction 변경과 전체 환경 진화의 Strict ASR을 matched budget으로 비교하면 어떤 표면이 위험에 기여하는지 확인할 수 있습니다.
red-teaming 정책의 탐색 전략 비교에 활용할 수 있습니다. OpenART는 시나리오와 evaluator를 고정한 채 EMHA 대신 다른 black-box search policy를 연결할 수 있도록 구성됐습니다. 같은 라운드 예산에서 archive, credit redistribution, graph evolution의 유무를 바꾸면 피드백 활용 방식이 공격 성공률과 경로 다양성에 미치는 영향을 측정할 수 있습니다.

코드 공개 여부: 공개

코드 저장소 보기

키워드

OpenART(에이전트 안전 평가 경기장)EMHA(진화형 Markov 하이퍼그래프 공격)Stateful Environment(지속 상태 환경)Cross-Agent Alignment(에이전트 간 정렬)Environment Evolution(환경 진화)Strict ASR(엄격 공격 성공률)

용어 해설

상태ful 환경(Stateful Environment): — 에이전트의 작업 과정에서 도구 호출, 메모리, 파일, 권한 같은 공유 상태가 계속 읽히고 바뀌는 실행 공간입니다. 한 시점의 변화가 이후 판단과 출력에 누적 영향을 주므로 단일 프롬프트보다 긴 상호작용 전체의 안전성을 평가해야 합니다.
공격 성공률(Attack Success Rate (ASR)): — 공격이 목표한 안전 위반을 일으킨 실행의 비율입니다. OpenART의 Strict ASR은 결정론적 evaluator와 GLM-5.2 judge가 모두 공격 성공으로 판정한 경우만 성공으로 세어 판정 불일치를 실패로 처리합니다.
대상 어댑터(Target Adapter): — 동일한 시나리오의 작업 목표, 안전 계약, evaluator를 각 에이전트가 사용하는 고유 인터페이스로 옮기는 실행 계층입니다. 지원되는 Workspace, Tools, MCPs, 메모리 등의 위치에만 상태 변경을 투영해 런타임 간 비교 가능성을 유지합니다.
하이퍼그래프(Hypergraph): — 하나의 연결선이 여러 선행 노드와 여러 후속 노드를 동시에 연결할 수 있는 그래프 구조입니다. EMHA는 공격 하위 목표와 의존 관계를 하이퍼그래프로 구성하고, 활성화된 목표에 따라 다음 환경 변경 경로를 선택합니다.
블랙박스 정책(Black-Box Policy): — 대상 모델의 내부 가중치나 gradient를 사용하지 않고 외부에서 관찰 가능한 상태와 evaluator 피드백만으로 다음 행동을 선택하는 정책입니다. EMHA는 대상 모델 파라미터를 갱신하지 않은 채 외부 attacker state에 경로 값과 실행 결과를 저장해 탐색을 조정합니다.
품질 다양성 탐색(Quality-Diversity Search): — 높은 점수만 찾는 대신 서로 다른 행동 특성을 가진 후보를 여러 영역에 보존하는 탐색 방식입니다. EMHA는 공격을 behavior cell에 배치하고 각 cell에서 가장 높은 fitness를 유지해 이미 성공한 경로와 다른 그래프 구조를 함께 발전시킵니다.

환경 진화로 확장하는 에이전트 레드팀

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드