책임성 기반 에이전트와 결정 인공지능 런타임(DIR) 패턴: 실행 거버넌스의 중요성

맥락과 문제: 고위험의 에이전트형 시스템은 외부 세계의 상태를 변경할 수 있어, 단순한 인간-참여(HITL) 방식은 대규모 운영에서 병목과 관리 비용을 유발한다. 해결 방향은 실행 경계에서의 거버넌스를 강화하는 Governance by Exception으로 요약된다. 핵심 흐름: ROA 패턴은 책임 계약(Authority Boundaries)을 정의하고, 미션은 실행 정책의 최적화를 담당하며, Epistemic Isolation이 Explain과 Policy의 분리를 강제한다. 작동 방식은 로라는 액터를 제약된 영역에서만 작동시키고, 정책 제안(PolicyProposal)을 런타임이 검증해 실행을 허용한다. 근거는 다섯 가지 파일럿 원칙과 다수의 사례 설명에 명시되어 있으며, 예를 들어 계약에 명시된 한도와 실행 권한은 프롬프트보다 강력하게 억제력을 갖는다는 점이다. 의미는 이 구조가 대규모 에이전트 fleet에서도 일관된 거버넌스와 감사 추적을 가능하게 하여, 고위험 도메인에서의 안전성과 신뢰성을 크게 높인다는 것이다.

핵심 전개: 책임 계약은 권한의 경계를 코드로 강제하고 버전 관리 가능한 계약을 통해 롤과 맥락을 좁힌다. 임무는 런타임에 실행 목표를 결정하는 방향을 제시하되, 계약은 이를 넘지 않는다는 불변성을 보장한다. 의사소통의 경계에서 Explain은 상황 기술에 머물고, Policy는 실행에 필요한 필드들(total_insured_value, premium 등)을 담은 구조적 제안을 만든다. Epistemic Longevity는 의사 결정의 기억을 유지해 같은 상황에서 반복된 잘못을 피하고, DFID 등 추적 가능한 로그가 감사와 재구성에 시너지를 낸다. 의미는 이 다섯 가지 기둥이 합쳐져 확률적 추론을 실제 실행에 책임 있게 연결하는 생산적Actor로의 전환을 가능하게 한다.

의미와 영향: HOTL은 실행 큐 없이 정책 디자이너가 계약을 정의하는 방식으로 운영 비용과 인간 개입의 부담을 줄인다. 에이전트가 계약을 벗어나면 Escalation 트리거를 통해 사전에 정의된 예외만 다루며, 계약의 Drift Envelope를 벗어난 경우에는Override를 거부한다. 한계는 ROA의 도입 비용과 실행 게이트의 추가 지연, 계약 진화에 따른 운영상의 오버헤드인데, 이는 고위험 도메인에서의 손실 비용이 훨씬 크지 않으면 불필요할 수 있다. 결론적으로, 실행 거버넌스의 강제화가 모델의 지능만큼이나 중요하다는 점을 강조하며, 프레임워크 랩핑으로 기존 도구를 활용하되 경계 밖의 실행은 Kernel Space에서만 이뤄지도록 한다.