FORTIS: 에이전트 스킬의 과도권한 부여를 벤치마크하는 연구

대형 언어 모델 에이전트는 사용자 의도와 실행 사이에 중간 스킬 계층을 두고 작동한다. 이 계층은 권한 경계의 축으로 작동하지만 모델은 이를 자주 넘긴다. FORTIS는 스킬 계층의 과도권한 여부를 두 단계(Task 1, Task 2)로 측정해 시스템 차원의 안전성을 진단한다.

1. 권한 경계로 작동하는 스킬 계층은 에이전트의 행동 영역을 결정하는 중요한 요소다. 2) 두 가지 실패 모드—Narrow에서 Broad로의 스킬 선택 확대, 그리고 스킬 문서에 명시된 한계를 넘는 도구 선택—은 서로 다른 단계에서 독립적으로 발생할 수 있다. 3) 실험 결과는 모델의 크기나 학습 방식의 확장이 안전성을 보장하지 않으며, 경계 준수는 아키텍처나 학습 목표 차원의 개입이 필요함을 시사한다.

단계적 분석 프레임워크를 제시한다. 전체 접근은 스킬레이어를 독립적인 안전 경계로 보고, Task 1에서 q에 대해 Γd(q)⊆Sd에서 최소 충분 스킬 s⋆(q,d)를 찾고 ℓS(s⋆)를 최소로 한다. 이를 f1:(q,Sd)→ŝ의 매핑으로 평가한다. Task 2에서는 Φd(q,s)⊆Td에서 도구 집합 τ⋆(q,s,d) = arg minτ∈Φd(q,s) [ max t∈τ ℓT(t), |τ| ]를 정의하고 f2:(q,s,doc(s),Td)→τ̂를 통해 평가한다. 두 Task는 스킬 선택의 최소성 여부와 해당 스킬 경계 내에서의 실행 충족 여부를 분리해 측정한다. 도메인은 email, ecommerce, filesystem의 3개이며, 각 도메인은 5단계 privilege를 가진 Sd와 Td를 포함한다. 스킬과 도구 간의 중첩(overlap) 구조를 의도적으로 도입해 하나의 길이의 정답만이 존재하지 않도록 설계했다. Task 1의 Settings은 CB, Sc, Lx, AI로 구성하고 Task 2의 Settings은 CB, CS, BA, BS로 구성한다. 모델은 temperature 0.0으로 고정해 출력을 수행하며 Task 1은 짧은 스킬 이름 출력, Task 2는 전체 도구 목록에서 JSON 배열 형태의 도구 호출을 출력한다. 수식적으로는 Task 1에서 s⋆(q,d) = arg min_{s∈Γd(q)} ℓS(s)로 정의되며, Task 2에서 τ⋆(q,s,d) = arg min_{τ∈Φd(q,s)} max_{t∈τ} ℓT(t), |τ|로 정의된다.

주요 벤치마크 결과는 Task 1의 실패율이 35.5%~52.7%로 나타났고, Task 2의 실패율은 45.2%~66.6%로 나타났다. End-to-End 성공률은 Claude Opus 4.7이 14.3%로 최고, GPT-5.4가 6.4%로 최저였다. Task 1의 평균 EM은 41.2%~54.8%, FR은 35.0%~52.7% 범위였다. Task 2의 EM은 47.4%~66.6%, FR은 41.3%~92.0% 범위였다. Convenience-Sensitive와 Boundary-Sensitive 프레이밍에서 Task 2의 실패율은 75.0–97.8% 및 71.1–96.0%에 이르렀으며, NAR은 대부분 1.5% 미만으로 나타나 과도권한이 주로 발생했다. End-to-End 성공은 모든 모델에서 15% 미만으로 나타나며, 스킬 선택의 실패가 실행 단계의 실패로 이어진다.

단계별 아키텍처: 스킬 계층의 다층 구조와 도구 공간의 다중 계층(overlap)을 정의한다. 수식적으로 Task 1은 s⋆(q,d) = arg min_{s∈Γd(q)} ℓS(s)로 정의된 최소 충분 스킬을 찾고, Task 2는 τ⋆(q,s,d) ∈ arg min_{τ∈Φd(q,s)} max_{t∈τ} ℓT(t), |τ|를 만족하는 최소 권한 도구 세트를 찾는다. 설정은 Task 1에서 CB/Sc/Lx/AI, Task 2에서 CB/CS/BA/BS로 구분되며, 비동일 설정에서의 실패율 차이(∆)를 측정한다. 모델은 0.0의 온도에서 고정된 프롬프트를 사용하며 Task 1은 짧은 스킬 이름만 출력하고 Task 2는 도구 호출의 JSON 배열을 출력한다. 도메인 구성은 이메일, 이커머스, 파일시스템이며, Sd와 Td는 각각 ℓS(s), ℓT(t)의 다섯 단계(l=0…4) 권한으로 구성되고, 스킬과 도구 간의 중첩(overlap)을 통해 동일 쿼리에서 좁은 경로와 넓은 경로가 공존하도록 했다.

세 도메인과 합성 스킬 계층에 한정되며 실제 도구 백엔드에 대한 실행은 포함하지 않는다. 외부 트래픽에서의 일반화 외에 의료/금융 등의 추가 도메인 확장이 필요하다. 경계 제약의 강제 시행은 외부 모듈의 지속적 모니터링에 의존하므로 시스템 설계 차원의 보완이 필요하다.