이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
실제 업무를 수행하는 AI 에이전트는 모델의 유연한 판단과 일반 소프트웨어의 결정적 통제를 분리하는 구조가 필요합니다. 권한, 계산, 검증, 승인, 로깅처럼 틀리면 결과가 커지는 부분은 코드와 정책 시스템이 강제하고, 모델에는 모호한 의도 해석과 판단을 맡겨야 합니다. 자율성은 업무에 필요한 만큼만 부여하고 도메인의 검증된 절차, 체크포인트, 재시도와 복구 기능을 중심에 둬야 하며, 모델과 하네스는 하나의 시스템으로 평가해야 합니다. 같은 오픈 모델도 하네스에 따라 18%포인트 차이가 났고, 지식 구조와 라우팅을 개선한 사례에서는 모델을 바꾸지 않고 토큰 43%, 오류 48%를 줄였습니다.
섹션별 상세
에이전트가 실제 업무를 수행할수록 프롬프트만으로 중요한 제약을 보장하기 어렵습니다. 모델은 의도 해석과 모호한 판단을 맡고, 일반 소프트웨어는 상태 관리, 권한, 계산, 재시도, 예측 가능한 제어 흐름을 맡아야 합니다. 권한은 정책 시스템으로 통제하고 계산은 신뢰할 수 있는 코드에서 수행하며 코드와 핵심 사실은 각각 컴파일러·테스트와 권위 있는 출처로 검증해야 하므로, 실수가 큰 결과를 만들 수 있는 행동은 소프트웨어가 차단하거나 명시적 승인을 요구해야 합니다.
근거
- 실수가 큰 결과를 만들 수 있는 행동은 소프트웨어가 차단하거나 명시적 승인을 요구해야 한다. — 1번 규칙의 소프트웨어 제약과 승인 게이트 문단
에이전트에 필요한 것보다 많은 자율성을 부여하면 선택 가능한 경로와 오류 기회, 운영 비용, 거버넌스 부담이 함께 늘어납니다. 유연한 워크플로를 관찰하면서 반복적으로 안정된 경로를 일반 코드로 옮기고, 에이전트가 다음 행동을 선택하는 모든 지점에서 실제 판단이 필요한지를 다시 확인하는 방식이 적절합니다. 시간이 지날수록 성숙한 에이전트는 더 많은 결정을 스스로 내리는 구조가 아니라, 업무에 꼭 필요한 개방형 선택만 남긴 구조에 가까워집니다.
도메인에 이미 검증된 체크리스트나 프로토콜이 있다면 에이전트의 기본 구조로 활용해야 합니다. 고객지원에서는 요청 분류, 정보 수집, 에스컬레이션, 승인 조건이 업무 흐름을 이루고 의료 영역에서는 진단 프로토콜이 같은 역할을 하므로, 모델에 계획 수립과 반복 실행을 맡기는 일반 루프보다 현장의 절차를 실행 가능한 형태로 바꾸는 편이 안정적입니다. 이 구조는 현업에서 이미 시험된 과정에 기대고 있어 시스템을 신뢰하고 승인해야 하는 사람도 동작을 이해하기 쉽습니다.
긴 워크플로에서는 각 단계의 작은 오류가 누적되므로 첫 시도 성공률만으로 전체 시스템을 판단하면 안 됩니다. 각 단계의 결과가 의도대로 나왔는지 확인하는 체크포인트, 재시도, 되돌릴 수 있는 작업, 정상 상태에서의 재개 기능을 두고 오류를 감지한 뒤 경로를 수정해야 합니다. 독립적인 10단계가 각 단계에서 95% 확률로 성공해도 전체를 오류 없이 끝낼 확률은 약 60%에 불과하므로, 복구 성능을 첫 시도 정확도와 별도로 측정해야 합니다.
근거
- 독립적인 10단계에서 단계별 성공률이 95%여도 전체를 오류 없이 완료할 확률은 약 60%다. — 4번 규칙의 장기 워크플로 성공 확률 계산 문단
에이전트 평가 대상은 모델만이 아니라 도구, 컨텍스트 관리, 메모리, 정책, 복구 로직을 포함한 하네스 전체입니다. 같은 오픈 모델도 하네스 구성에 따라 최선과 최악의 설정 사이에서 18%포인트의 차이가 나타났으므로, 공개 리더보드 점수만으로 실제 배포 성능을 판단하기 어렵습니다. 사용하는 도구와 권한, 컨텍스트, 실패 조건을 붙인 상태에서 평가하고 모델이나 하네스 중 하나라도 바뀔 때마다 새로운 시스템으로 다시 평가해야 합니다.
근거
- 같은 오픈 모델도 하네스 구성에 따라 최선과 최악의 설정 사이에서 18%포인트의 성능 차이가 나타났다. — 5번 규칙의 하네스 평가 비교 문단
멀티 에이전트 구조는 에이전트 수를 늘리는 것보다 명확한 오케스트레이터와 소수의 전문 역할을 구성하는 방식이 대체로 효과적입니다. 각 전문 에이전트에 서로 다른 역할, 도구 집합, 권한 범위, 필요한 정보만 부여하면 조정 부담을 줄일 수 있고, 병렬 작업이나 독립적인 관점이 필요한 경우에만 팀 규모를 키울 근거가 생깁니다. 특히 명확한 평가 기준과 차단·에스컬레이션 권한을 가진 비평가 역할을 두면, 답하지 않아야 하는 상황까지 프롬프트의 성격 묘사에 맡기지 않고 시스템 규칙으로 처리할 수 있습니다.
도구를 많이 제공하면 기능이 늘어나는 대신 에이전트의 선택 부담과 테스트 범위가 커질 수 있습니다. 한 테스트에서는 큰 도구 집합이 작은 집합의 모든 도구를 포함했음에도 더 느리고 정확도도 약간 낮았는데, 여러 도구가 비슷한 요청을 처리할 수 있어 모델의 주의가 작업보다 도구 선택에 쓰였기 때문입니다. 각 도구의 역할을 뚜렷하게 분리하고 필수 준비 작업은 자동 실행하며 호출 입력·출력과 실패 빈도를 기록한 뒤, 겹치는 도구는 통합하거나 소프트웨어 라우팅으로 대체하거나 제거해야 합니다.
근거
- 큰 도구 집합은 작은 도구 집합보다 느리고 정확도도 약간 낮아질 수 있었다. — 7번 규칙의 도구 집합 테스트 문단
현재 실행에 필요한 정보인 컨텍스트, 이전 작업에서 이어갈 정보인 메모리, 접근 정책으로 관리되는 문서·기록·규정 저장소인 기업 지식은 서로 다른 시스템입니다. 세 영역을 하나의 저장소처럼 취급하면 보존 기간, 검색 방식, 접근 권한이 뒤섞여 품질과 보안 문제가 생길 수 있으므로 인프라를 공유하더라도 기본 규칙은 분리해야 합니다. 메모리에는 전체 대화 기록보다 피해야 할 실수, 재사용할 기법, 이후 행동을 바꿀 선호를 저장하고, 무엇을 저장·검색했으며 결과가 실제 출력에 영향을 주었는지를 확인해야 합니다.
에이전트 성능이 낮을 때 더 큰 모델을 구매하거나 Fine-tuning을 시작하기 전에 모델에 전달되는 지식의 구조를 점검해야 합니다. 한 팀은 원시 고객지원 문서 묶음을 진단 플레이북으로 바꾸고, 라우터가 고객 불만을 증상과 문제 유형으로 변환한 뒤 관련 핸드북을 선택하도록 하여 모델을 바꾸지 않고 토큰을 43%, 오류를 48% 줄였습니다. 검색은 한 번 설치하고 끝나는 기능이 아니며 표현 불일치, 표와 PDF 내부 정보, 출처 간 충돌에 대응하려면 지식의 구조화와 라우팅, 거버넌스를 함께 개선해야 합니다.
근거
- 원시 고객지원 문서를 진단 플레이북으로 바꾸고 라우터를 적용하자 모델을 바꾸지 않고 토큰은 43%, 오류는 48% 감소했다. — 9번 규칙의 고객지원 지식 구조 개선 사례
용어 해설
- 에이전트 자율성(Agent Autonomy)
- — 에이전트가 다음 행동을 스스로 선택하고 실행할 수 있는 범위입니다. 자율성이 커지면 탐색과 개방형 계획에는 유리하지만 오류 경로, 운영 비용, 거버넌스 부담도 함께 늘어납니다. 따라서 작업에 필요한 수준으로 제한해야 합니다.
- 하네스(Harness)
- — 모델을 둘러싼 도구, 컨텍스트 관리, 메모리, 정책, 복구 로직을 묶은 실행 환경입니다. 같은 모델이라도 하네스의 구성에 따라 성능이 크게 달라질 수 있으므로 모델 단독이 아니라 전체 시스템 단위로 평가해야 합니다.
- 멀티 에이전트 시스템(Multi-agent System)
- — 여러 에이전트가 서로 다른 역할과 도구를 맡아 하나의 작업을 수행하는 구조입니다. 역할을 작게 나누면 전문성을 활용할 수 있지만, 에이전트 수가 많아지면 조정 비용과 중복 작업, 실패 추적의 어려움이 커집니다.
- 검색·검색 증강(Retrieval)
- — 에이전트가 현재 작업에 필요한 문서와 지식을 찾아 컨텍스트로 제공하는 과정입니다. 사용자의 표현과 문서 표현이 다르거나 정보가 표와 PDF에 묻혀 있으면 검색 오류가 발생하므로 지식 구조, 라우팅, 접근 정책을 함께 관리해야 합니다.
- 복구 설계(Recovery)
- — 에이전트가 실행 중 오류나 예상 밖의 도구 응답을 만났을 때 정상 상태로 돌아가는 메커니즘입니다. 체크포인트, 결과 검증, 재시도, 되돌릴 수 있는 작업, 알려진 정상 상태에서의 재개를 통해 첫 시도 정확도만으로는 포착하기 어려운 장기 작업의 실패를 줄입니다.
기술
- Fine-tuning
- retrieval
- 컴파일러
- 테스트
- 리더보드
활용 사례
- 고객지원 요청 분류와 에스컬레이션
- 진단 프로토콜을 따르는 의료 워크플로
- 승인과 권한 검사가 필요한 기업 업무
- 장기 실행 업무의 오류 복구와 재개
언급된 리소스
DemoAI Conference
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 25.수집 2026. 08. 25.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
