실제 환경에서의 AI 에이전트 자율성 측정 연구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AI 에이전트가 이메일 분류부터 사이버 보안까지 다양한 영역에 배포되고 있으나, 실제 사용 양상에 대한 데이터는 부족한 실정이다. Anthropic은 Claude Code와 공용 API의 수백만 건의 상호작용을 분석하여 에이전트의 자율성과 위험도를 측정했다. 분석 결과, 에이전트의 자율적 작업 시간은 3개월 만에 두 배로 늘어났으며, 숙련된 사용자일수록 개별 승인보다는 사후 개입 위주의 감독 방식을 택하는 것으로 나타났다. 또한 에이전트 스스로 불확실한 상황에서 질문을 던지는 '에이전트 주도 중단'이 인간의 개입보다 더 빈번하게 발생하며 안전장치 역할을 하고 있다.

배경

AI 에이전트 및 도구 사용(Tool Use) 기본 개념, LLM API 및 에이전트 아키텍처에 대한 이해

대상 독자

AI 에이전트 개발자, MLOps 엔지니어, AI 정책 입안자

의미 / 영향

AI 에이전트의 자율성이 모델의 잠재 능력보다 실제 사용 환경에서 더 빠르게 확장되고 있음을 보여줍니다. 이는 단순한 성능 지표를 넘어 인간과 AI의 협업 방식(HCI)과 사후 모니터링 체계가 에이전트 안전의 핵심이 될 것임을 시사합니다.

섹션별 상세

Claude Code의 자율 작업 지속 시간이 25분 미만에서 45분 이상으로 약 2배 증가했다. 이는 모델 성능 향상뿐만 아니라 사용자가 도구에 대한 신뢰를 쌓고 더 복잡한 작업을 맡기기 시작했음을 시사한다.

Claude Code의 99.9 백분위수 턴 지속 시간 변화 그래프 — Chart2025년 10월부터 2026년 1월까지 Claude Code가 한 번의 턴에서 자율적으로 작업하는 시간이 약 25분에서 45분으로 꾸준히 증가했음을 보여줍니다. 이는 모델의 성능 향상과 사용자의 신뢰 구축이 결합된 결과로 분석됩니다.

사용자의 숙련도가 높아질수록 '자동 승인(Auto-approve)' 비율이 20%에서 40% 이상으로 증가한다. 동시에 '중단(Interrupt)' 비율도 함께 상승하는데, 이는 숙련자가 모든 단계를 승인하는 대신 자율 실행을 허용하되 문제가 생길 때만 즉각 개입하는 효율적인 감독 전략으로 전환함을 의미한다.

사용자 경험(세션 수)에 따른 Claude Code 자동 승인율 변화 — Chart사용자가 Claude Code를 더 많이 사용할수록 에이전트의 행동을 일일이 승인하지 않고 자동 승인 모드를 사용하는 비율이 20%에서 40% 이상으로 증가함을 나타냅니다. 이는 사용자가 에이전트의 역량을 파악함에 따라 더 많은 자율권을 부여함을 시사합니다.

사용자 경험에 따른 Claude Code 중단율 변화 — Chart숙련된 사용자일수록 에이전트의 작업을 중단시키는 빈도가 높아지는 현상을 보여줍니다. 이는 자동 승인을 늘리는 동시에 실시간 모니터링을 통해 필요한 순간에만 개입하는 고도화된 감독 전략을 취하고 있음을 의미합니다.

에이전트가 스스로 판단하여 질문을 던지는 '클래리피케이션(Clarification)' 횟수가 인간의 중단 횟수보다 많다. 특히 복잡한 작업일수록 에이전트가 자신의 불확실성을 인지하고 인간에게 확인을 요청하는 빈도가 높아져, 시스템의 안전성을 보완하는 핵심 요소로 작용한다.

목표 복잡도에 따른 에이전트의 확인 요청 및 인간의 중단 비율 비교 — Chart작업의 복잡도가 높아질수록 에이전트가 스스로 질문을 던지는 비율이 인간의 개입 비율보다 훨씬 가파르게 상승함을 보여줍니다. 고난도 작업에서 에이전트의 자기 불확실성 인지가 중요한 안전장치로 작동하고 있음을 증명합니다.

현재 에이전트 활동의 약 50%는 소프트웨어 엔지니어링에 집중되어 있으며, 의료, 금융, 사이버 보안 등 고위험 영역에서의 사용은 아직 초기 단계다. API 호출의 80% 이상이 최소 하나 이상의 안전장치를 갖추고 있으며, 비가역적인 행동(이메일 발송 등)은 0.8%에 불과해 현재까지는 비교적 안전하게 관리되고 있다.

도메인별 에이전트 도구 사용 분포 — Chart현재 에이전트 활용 분야 중 소프트웨어 엔지니어링이 약 50%로 가장 큰 비중을 차지하고 있음을 보여줍니다. 그 외 비즈니스 인텔리전스, 고객 서비스 등 다양한 분야로 에이전트 도입이 확산되기 시작하는 초기 단계임을 시각화합니다.

실무 Takeaway

에이전트 도입 초기에는 단계별 승인 방식을 사용하되, 숙련도가 쌓이면 실시간 모니터링 및 개입(Interruption) 위주의 감독 체계로 전환하는 것이 효율적이다.
모델이 스스로의 불확실성을 감지하고 질문하게 만드는 학습(Clarification training)은 에이전트의 자율성과 안전성을 동시에 확보하는 핵심 기술이다.
에이전트 배포 후에는 사전 평가뿐만 아니라 실제 환경에서의 자율성 변화와 위험 노출도를 지속적으로 모니터링하는 인프라 구축이 필수적이다.

언급된 리소스

문서Measuring AI agent autonomy in practice