낮은 권한으로 충분할 때: LLM 에이전트의 과도한 권한 도구 선택 조사

에이전트가 불필요하게 높은 권한의 도구를 선택하면 이메일 유출, 파일 삭제 등 잠재적 피해 범위가 크게 확대된다. 본 논문은 에이전트의 도구 선택 행동을 정량화하고, 불필요한 권한 사용을 실험적으로 줄이는 방법을 제시한다.

왜 중요한가

핵심 기여

ToolPrivBench 벤치마크 구축

권한 구분이 있는 환경에서 하위 권한 도구들이 독립적으로 작업을 완료할 수 있도록 설계한 544개 시나리오(8개 도메인·5개 위험 유형)를 제공한다. 각 케이스는 3개의 lower-privilege 도구와 3개의 higher-privilege 도구로 구성되고, 자동 모델 합의( Gemini 2.5 Pro, GPT-5.2 )와 인간 감사로 도구의 기능적 충분성을 검증했다.

권한 과다 선택 정량 지표 제안

Over-Privileged Tool Use Rate(OPUR@k)와 Pre-Escalation Exploration Depth(PED)를 정의했다. OPUR@k는 k 턴 내에 하위 권한 대안이 남아 있는 상태에서 상위 권한 도구를 사용한 비율이고, PED는 최초 상위 권한 사용 전 시도한 서로 다른 하위 권한 도구 수이다.

대규모 실험을 통한 현상 규명

11개 주류 모델에서 OPUR를 측정한 결과, 다수 모델에서 높은 권한 과다 사용이 관찰되었다(예: Qwen3-8B 64.9%, LLaMA-3.1-8B 55.9%). 일시적 하위 도구 실패는 권한 상승을 크게 촉진했다.

기존 안전 정렬·프롬프트의 한계 규명

AgentAlign과 같은 기존 안전 정렬은 유해성 감소에는 효과적이나 OPUR 개선에는 일관되게 작동하지 않았다. 시스템 프롬프트(SECURITY PRINCIPLE)는 일부 감소를 유도하지만, 다회차 실패 상황에서 효과가 약화됐다.

권한 인식 사후학습(Privilege-aware post-training) 제시

SFT로 권한 보수적 레퍼런스 궤적을 학습한 뒤 GRPO로 보상 기반 정책 최적화를 진행하는 파이프라인을 설계했다. 보상은 표준 도구로의 성공을 우선, 불필요한 상위 도구 사용을 강하게 벌점으로 설계했다.

완화 효과와 일반 성능 보존 검증

Qwen 계열 실험에서 OPUR가 Qwen3-4B: 39.71%, Qwen3-8B: 27.02%, Qwen3-4B-Think: 18.93%로 낮아졌고, MMLU/GSM8K/MetaTool 성능은 대체로 95~100% 수준으로 유지되어 일반 능력 손실이 제한적임이 확인됐다.

핵심 아이디어 이해하기

에이전트의 도구 선택은 상태(사용자 요청과 도구 설명)를 입력으로 받아 도구 선택 확률 분포를 출력하는 정책 문제이다. 이 확률 분포는 학습 데이터와 보상 신호로 형성되며, softmax로 표현되는 선택 확률은 서로 다른 도구들의 '보유된 신뢰'를 반영한다. 따라서 도구 기능과 권한 정보를 정책 입력으로 제공하면 모델은 각 도구를 선택할 확률을 산출한다.

일시적 실패가 발생하면 에이전트는 해당 도구의 즉시 신뢰도를 낮추는 관측을 얻는다. 관측 기반으로 정책이 갱신되진 않더라도(온라인 학습이 아닌 경우) 멀티턴 추론 과정에서 실패 피드백은 내부 확률 추정에 영향을 주어 더 높은 성공률을 기대하는 상위 권한 도구로의 전환 확률을 증가시킨다. 이 과정은 탐색–활용 관점에서 보면 실패가 '하위 권한 도구의 유효성에 대한 불확실성'을 키워 더 높은 보상(또는 더 확실한 성공)을 보이는 상위 권한 도구로의 편향을 초래한다.

권한 보수적 행동은 보상 구조의 차이에 의해 유도될 수 있다. 보상을 '작업 성공'만으로 둘 경우, 상위 권한 도구가 더 자주 성공하므로 정책은 상위 권한을 선호한다. 본 논문은 보상을 재구성하여 '표준 도구로의 성공'에 더 높은 보상을 부여하고, 상위 권한의 불필요한 사용에는 큰 벌점을 부여함으로써 같은 학습 절차(gradient-based 최적화)를 통해 선택 확률을 낮추는 결과를 얻었다.

요약하면, 도구 선택은 정책의 확률적 행동이며 일시적 실패는 내부 신뢰 추정과 행동 확률을 건너뛰어 상위 권한 편향을 유발한다. 보상 재구성과 사후학습(SFT→RL)으로 정책의 목적 함수를 바꾸면 동일한 입력공간에서 하위 권한 보존 성향을 가진 행동 분포를 획득할 수 있다.

방법론

전체 접근 방식: 시뮬레이션 환경에서 권한이 다른 도구들을 동일 작업에 대해 모두 충분하도록 구성하고, 에이전트의 도구 선택 행동을 다회차 상호작용으로 평가한다. 각 케이스는 3개의 lower-privilege 도구와 3개의 higher-privilege 도구로 구성되고 상호작용 상한은 k=5 턴이다. 측정 지표로 OPUR@k와 PED를 채택했다.

평가 프로토콜 상세: 에이전트는 사용자 쿼리를 받고 도구를 선택한다. 하위 권한 도구 호출에는 일시적, 권한-무관한 실패(예: 연결 오류)를 주입할 수 있으며, 에이전트는 재시도·다른 하위 도구 전환·상위 도구 에스컬레이션·종료 중 선택 가능하다. OPUR@k는 k 턴 내에 상위 권한 도구를 사용한 케이스 비율이고, PED는 최초 상위 권한 사용 전 시도한 서로 다른 하위 도구 수이다.

벤치마크 구성 및 검증: 도메인과 위험 유형(Authority Escalation, Scope Expansion, Temporal Persistence, Safety Bypass, Data Over-Exposure)을 APIGen 기반 위험 분석으로 선정했고, 자동 포맷·중립성·다양성 체크를 적용해 사례를 필터링했다. 기능적 충분성 제약을 위해 두 단계 검증을 적용했다: (1) Gemini 2.5 Pro와 GPT-5.2의 교차 모델 합의로 'fully sufficient' 판정 획득, (2) 기계 검증 합격분에 대해 인간 전문가 감사로 최종 검증. 최종 집합은 544 시나리오다.

권한 인식 사후학습(Privilege-aware post-training): 학습 데이터는 SFT용 레퍼런스 궤적과 RL용 별도 쿼리 세트로 구성된다. SFT 궤적은 Qwen3.5-397B로 생성한 rationale-style traces를 포함해 권한 비교와 재시도 우선 행동을 시연한다. 이후 GRPO로 정책을 최적화한다. 보상은 (1) 표준 도구로의 성공을 최우선 보상으로 설정, (2) 의미 있는 하위 권한 탐색 없이 상위 권한 사용에는 강한 벌점 부과, (3) 응답 길이 페널티 소량 포함으로 구성된다.

주요 결과

메인 벤치마크 결과: 11개 모델에서 OPUR을 측정한 결과, 모델별 차이가 컸다. Qwen3-8B의 전체 OPUR는 64.9%였고 LLaMA-3.1-8B는 55.9% 수준이었다. 반면 Claude 4.6 Sonnet, GPT-5.2, GLM-5는 10% 미만 또는 근처의 낮은 OPUR를 보였다. 이 결과는 최소 권한 준수가 모델별 행동 특성이라는 점을 시사한다.

일시적 실패의 영향: 일시적 도구 실패는 권한 에스컬레이션을 크게 증가시켰다. PED 분포 분석에서 PED=0(초기 공격적 선택) 비중이 낮아도 PED=1,2에서 상위 권한 선택 빈도가 급격히 증가하는 경향이 관찰됐다. 예컨대 GPT-5.2는 PED=0으로 5회, PED=1으로 13회, PED=2로 35회 트리거가 증가했다.

도메인·위험 유형 차이: 도메인별로는 Infrastructure·Media·Database 시나리오에서 OPUR이 높았고, 위험 유형으로는 Authority Escalation과 Safety Bypass가 가장 빈도가 높았다. Scope Expansion은 상대적으로 낮은 비율을 보였다.

완화 실험: AgentAlign로 유해성은 크게 감소했으나 OPUR은 반드시 감소하지 않았다(Qwen 계열에서는 오히려 증가). 시스템 프롬프트 기반 제어는 일부 감소를 유도했으나 다회차 실패 상황에서 효과가 약화됐다. Privilege-aware post-training은 Qwen3-4B에서 OPUR를 39.71%로, Qwen3-8B에서 27.02%로, Qwen3-4B-Think에서 18.93%로 낮췄다. 일반 능력(MMLU, GSM8K, MetaTool)은 개별 항목에서 대체로 95% 내외의 Retain Rate를 보이며 큰 손실 없이 권한 과다 사용을 줄였다.

기술 상세

전체 시스템 구조: 에이전트는 사용자 쿼리와 도구 메타데이터(권한 수준 포함)를 입력으로 받아 도구 선택 행동을 생성하는 policy 모델이다. 평가 환경은 시뮬레이션으로 구성되며 각 시나리오에 6개 도구(3 lower, 3 higher)가 제공된다. 상호작용 상한은 k=5 턴이다.

수학적·알고리즘적 기반: 과다 권한 선택 조건은 논문 공식으로 정의됐다: 시점 i에서 에이전트가 상위 권한 도구 t_h를 선택할 때, 아직 배제되지 않은 하위 권한 도구 t_ℓ ∈ U_i(x)가 존재하여 p(t_ℓ) < p(t_h)인 경우를 over-privileged로 판정한다. 이를 계산 관점에서 풀면 [상태 x와 남아 있는 후보 U_i 입력] → [정책이 각 도구에 대한 점수(softmax logit)를 계산] → [상위 권한 도구에 높은 확률이 할당되어 선택] → [선택이 의미하는 것은 하위 권한 대안이 남아 있음에도 권한을 불필요하게 높였다는 점]이다.

도구 충분성 검증 파이프라인: 기능적 충분성 검증은 두 단계로 이루어진다. 첫째, Gemini 2.5 Pro와 GPT-5.2의 교차 합의로 도구 기술이 'fully sufficient'인지 판정한다. 둘째, 기계 검증을 통과한 사례는 인간 전문가가 사용자 요청, 권한 대비, 실패 의미론, 도구 효과를 검토하여 중복·모호성·유일 능력 문제를 제거한다.

사후학습 구현·보상 설계: SFT 단계에서는 Qwen3.5-397B가 생성한 rationale-style traces를 사용해 권한 보수적 궤적을 학습한다. RL 단계에서는 GRPO를 사용하여 보상을 최적화한다. 보상은 (1) 표준 도구로의 성공에 높은 보상, (2) 상위 권한의 과도한 사용에 강한 벌점, (3) 의미 있는 하위 권한 탐색 시 부분 보상, (4) 응답 길이 페널티 소량을 포함한다. 훈련·하이퍼파라미터의 구체 값은 부록에 제공됨.

한계점

논문에 명시된 한계들만 기재: (1) 실험은 시뮬레이션 환경에서 수행되어 실제 프로덕션 툴·서비스의 복잡성을 완전히 포착하지 못한다. (2) 각 케이스는 상호 대체 가능한 소수의 도구 세트(3 lower, 3 higher)로 구성되어 있어 더 큰 도구 인벤토리나 부분적으로 중첩된 도구 집합을 다루지 않는다. (3) 상호작용 상한 k=5로 장기간 궤적 분석을 포함하지 않는다.

실무 활용

시뮬레이션 기반 벤치마크와 사후학습 파이프라인은 실제 에이전트 배포 전 도구 선택 정책의 권한 보수성 평가와 개선에 적용 가능하다. 공개된 코드·데이터로 재현과 추가 실험이 가능하다.

에이전트 앱 배포 전 ToolPrivBench를 이용한 권한 과다 사용 평가
프로덕션 에이전트에 privilege-aware SFT+RL 파이프라인을 적용해 불필요한 상위 권한 호출을 감소
시스템 프롬프트와 사후학습을 조합해 실패 상황에서의 에스컬레이션 정책 튜닝

코드 공개 여부: 공개

코드 저장소 보기

키워드

tool selection(도구 선택)least-privilege(최소 권한 원칙)over-privileged tool selection(권한 과다 도구 선택)ToolPrivBench(툴프라이브벤치)privilege-aware post-training(권한 인식 사후학습)

용어 해설

최소 권한 원칙(Least-Privilege): — 시스템이 작업을 수행하는 데 필요한 최소한의 권한만 부여하는 보안 원칙이다. 본 논문에서는 도구 선택 맥락에서 '충분히 하위 권한인 도구'를 우선 사용하고 필요할 때만 상위 권한 도구로 전환하는 행동 규범을 의미한다.
Over-Privileged Tool Use Rate(OPUR): — 주어진 상호작용(k 턴)에서 에이전트가 아직 사용 가능한 하위 권한 도구가 있는 상황에서 상위 권한 도구를 사용하는 비율이다. 이 비율은 에이전트의 권한 과다 선택 빈도를 정량화한다.
Pre-Escalation Exploration Depth(PED): — 첫 상위 권한 도구 사용 전에 시도한 서로 다른 하위 권한 도구의 수이다. PED=0이면 초기부터 상위 권한을 선택(aggressive selection), PED≥1이면 일시적 실패 후 상승(premature escalation)임을 구별한다.
GRPO: — 본 논문에서 정책 최적화에 사용된 강화학습 방법으로, supervised fine-tuning 후 정책을 환경 상호작용과 보상으로 추가 최적화하는 절차에 사용되며 권한 보존 성향을 보상으로 부여한다.

낮은 권한으로 충분할 때: LLM 에이전트의 과도한 권한 도구 선택 조사

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

OWASP LLM 앱 Top 10에서 과도한 자율성 위험 부상

Hugging Face 레지스트리를 침투한 700개 자율 에이전트의 위협

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

OWASP LLM 앱 Top 10에서 과도한 자율성 위험 부상

Hugging Face 레지스트리를 침투한 700개 자율 에이전트의 위협