AI 에이전트의 신뢰성 확보를 위한 RUX 아키텍처 설계

작성자가 제시한 'LLM을 신뢰하지 않는 아키텍처'와 'SQL 기반 자신감 측정' 방식에 대해 기술적인 흥미를 보이는 반응이 주를 이룬다.

• LLM의 자기 평가(Self-evaluation) 대신 별도의 소형 모델(Mistral 7B 등)을 비평가로 활용하여 검증 객관성을 확보하라.
• 에이전트의 신뢰도를 측정할 때 LLM의 답변 대신 실제 DB에 기록된 성공/실패 이력의 통계 데이터를 사용하라.
• 인사말과 같은 단순 입력이 LLM에 도달하지 않도록 전처리 레이어를 두어 토큰 비용과 지표 정확도를 관리하라.

• AI 에이전트의 신뢰성을 높이기 위해 LLM의 확률적 출력과 실행기의 결정론적 영역을 '신뢰 경계(Trust Boundary)'로 엄격히 분리해야 한다.
• 에이전트의 자신감 점수(Confidence Score)는 LLM에게 직접 묻는 대신, 과거 실행 결과의 SQL 집계 데이터를 기반으로 산출하는 것이 더 객관적이다.
• 모델의 자기 평가 편향을 방지하기 위해 Mistral 7B와 같은 별도의 모델을 비동기 비평가(Critic)로 활용하는 아키텍처가 효과적이다.
• 단순한 인사말이나 도메인 외 입력이 LLM에 도달하지 않도록 Planner를 계층화하여 시스템의 지표 무결성을 유지해야 한다.