LLM을 통제 계층에 넣는 신뢰 가능한 Agent 설계

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

글은 도구 호출과 부작용 실행을 LLM에 바로 맡기는 구조를 신뢰할 수 있는 agent로 보지 않습니다. 현실·관측·belief·행동 권한을 분리하고, typed evidence record와 원인별 확률 분포를 유지한 뒤 Bayesian 업데이트와 권한 정책으로 act·ask·hold·escalate를 결정해야 합니다. 문제 유형에 맞는 확률 모델을 선택하고, 추가 probe는 예상되는 결정 개선 효과가 비용보다 클 때만 실행해야 합니다. LLM은 가설 생성과 비정형 정보 해석을 맡고, 시스템은 확률 보정·위험 계산·권한 집행·결과 기록을 맡는 역할 분리가 핵심입니다.

주요 논점

01찬성다수

LLM이 도구를 호출한 뒤 즉시 부작용을 만드는 구조만으로는 불확실성을 다루는 agent라고 보기 어렵다는 입장입니다. 신념 상태, 증거 갱신, 권한 정책, 결과 기록을 별도 계층으로 두어야 생산 환경에서 행동을 통제할 수 있다고 봅니다.

02찬성다수

확률 분포를 유지하되 모든 문제에 동일한 confidence 값을 적용하지 말고, 원인 분류·도착 횟수·대기시간·연속 측정처럼 질문의 형태에 맞는 모델을 사용해야 한다는 입장입니다. 이 구분이 실제 행동 선택과 기한 내 대응 여부를 바꾼다고 봅니다.

03찬성다수

정보를 더 얻는 행위는 불확실성 감소 자체가 아니라 최종 결정 개선 효과와 전체 탐색 비용을 비교해 선택해야 한다는 입장입니다. 모든 결과가 같은 보류 결정을 낳는 probe는 실행하지 않고, 권한이 허용하는 범위에서만 다음 행동을 구매해야 한다고 봅니다.

실용적 조언

생산용 agent에서 LLM의 출력이 곧바로 도구 실행으로 이어지지 않도록 typed evidence record와 belief state를 사이에 둡니다. 원인 후보별 사전확률과 단서의 가능도를 저장하고, 새 증거가 들어올 때 사후확률을 갱신합니다. 이후 행동은 확률뿐 아니라 오판 시 권한과 피해 범위를 함께 검사한 뒤 act, ask, hold, escalate 중 하나로 제한합니다.
각 탐색 작업에 금전·지연·연산·개인정보·권한·사람의 검토 시간을 비용으로 붙입니다. 탐색 결과가 행동 선택을 바꿀 가능성이 낮거나 모든 결과가 같은 보류 결정을 만들면 probe를 생략합니다. 실행한 행동과 실제 결과를 기록해 예측 확률의 calibration과 운영 중 drift를 계속 확인합니다.

섹션별 상세

글은 많은 ‘agentic’ 시스템이 실제로는 LLM이 사용자 요청을 해석한 뒤 도구를 호출하고 곧바로 되돌리기 어려운 효과를 만드는 구조에 머문다고 비판합니다. 대안으로 현실의 참값, 로그·문서·도구 출력 같은 관측, 증거가 뒷받침하는 신념, 허용된 행동을 분리하는 아키텍처를 제시합니다. LLM은 비정형 기록을 읽고 가설과 탐색 방법을 만들 수 있지만, 최종 판단자·계산기·배포 버튼을 혼자 맡아서는 안 된다는 주장입니다.

생산 환경의 실패 원인은 직접 관측되지 않는 경우가 많으므로 malformed tool payload, upstream dependency timeout, retrieval context overflow, permission failure 같은 후보에 대해 P(cause | evidence) 형태의 분포를 유지해야 합니다. 예를 들어 schema validation failed라는 단서가 들어오면 P(H | E) ∝ P(E | H) × P(H)로 사후확률을 갱신하지만, LLM이 ‘schema mismatch looks plausible’라고 말하는 것만으로 원인을 확정하지 않습니다. 단서가 특정 원인에서 얼마나 자주 나타나는지, 경쟁 가설에서도 가능한지, 입력 증거를 신뢰할 수 있는지, 오판 시 허용되는 행동이 무엇인지까지 함께 평가해야 합니다.

불확실성의 종류에 따라 적절한 확률 모델이 달라지므로 모든 값을 하나의 ‘confidence’ 숫자로 뭉뚱그리면 결정이 왜곡됩니다. 증거 충족 여부에는 Bernoulli, 여러 원인 중 하나를 고르는 문제에는 Categorical, 500건 중 검토 대상 수에는 Binomial, 시간당 장애 도착 수에는 Poisson, 15분 내 사람의 응답 여부에는 Exponential 또는 survival model, 연속 센서 값의 이상 여부에는 Gaussian 또는 empirical baseline을 사용할 수 있습니다. 이렇게 질문의 구조에 맞는 모델을 선택해야 행동 가능성과 시간 제약을 계산할 수 있습니다.

추가 탐색은 불확실성을 줄인다는 이유만으로 실행할 수 없으며, 모든 결과가 같은 보류 결정을 낳는다면 운영 가치가 없을 수 있습니다. 글은 예상되는 의사결정 개선 효과가 탐색의 금전·지연·연산량·개인정보·권한·사람의 주의력·기회비용보다 클 때만 질문이나 probe를 수행하고, 허용된 probe가 더 이상 없으면 멈추는 정책을 제안합니다. 예시에서 15분 내 검토 완료 확률은 18%, 적시 검토의 이익은 ₹12,000, 대기와 검토 비용은 ₹3,000이므로 순가치는 0.18 × ₹12,000 - ₹3,000 = -₹840이며, 위험한 행동을 보류하고 긴급 경로로 에스컬레이션하는 편이 맞습니다.

신뢰할 수 있는 운영용 agent는 LLM과 통제 시스템의 역할을 분리해야 합니다. LLM은 지저분한 텍스트 해석, 가설 생성, 후보 probe 작성, 증거 종합, 결과 설명을 맡고, 시스템은 구조 검증, 보정된 belief 유지, 권한 집행, 위험·비용·기한 계산, 허용된 행동 실행, 확인된 결과 학습을 담당합니다. 마지막으로 모든 결과를 기록하고 calibration과 drift를 추적해야 ‘조심하라’는 지시문을 넘어선 감사 가능성과 안전성을 확보할 수 있습니다.

용어 해설

신념 상태(Belief State): — 관측된 로그·문서·도구 출력이 숨은 원인에 대해 어느 정도 근거를 제공하는지 확률 분포로 유지하는 상태입니다. 새 증거가 들어오면 사전확률과 가능도를 결합해 갱신하며, 시스템이 행동·보류·승인을 선택할 때 불확실성을 수치로 반영합니다.
Bayesian 업데이트(Bayesian Update): — 새로운 증거가 들어왔을 때 기존 가설의 확률을 증거가 각 가설에서 나타날 가능도와 결합해 다시 계산하는 방법입니다. 글에서는 원인 추정에서 P(단서|원인)과 P(원인|단서)를 구분해야 하며, 단순한 LLM 확신도만으로 결정을 내리면 안 된다고 설명합니다.
정보 가치(Value of Information): — 추가로 얻을 증거가 최종 의사결정을 얼마나 개선하는지와 그 증거를 얻는 데 드는 비용을 비교하는 기준입니다. 비용에는 금전·지연·연산량·개인정보·권한·사람의 주의력·기회비용이 포함되며, 결정 개선 효과가 전체 비용보다 클 때만 탐색을 실행합니다.
확률 보정(Calibration): — 시스템이 산출한 확률이 실제 결과의 빈도와 얼마나 일치하는지 확인하는 과정입니다. 운영 환경에서는 확인된 결과를 기록하고 예측과 실제 결과의 차이를 추적해야 하며, 이를 통해 시간이 지나도 믿을 수 있는 판단 기준을 유지할 수 있습니다.
생존 모델(Survival Model): — 사건이 발생하거나 특정 응답이 완료될 때까지의 대기시간 위험을 다루는 확률 모델입니다. 글에서는 사람이 15분 안에 검토를 끝낼 가능성을 평가하는 데 Exponential 또는 survival model을 사용할 수 있다고 설명하며, 시간 제한이 있는 승인 절차의 보류 여부를 판단하는 데 연결합니다.