Salesforce의 Agentforce 사례로 본 AI 프로덕션 배포의 교훈

커뮤니티 반응

대체로 작성자의 의견에 동의하며, 많은 개발자가 에이전트의 결과물보다 추론 과정을 디버깅하는 데 더 많은 시간을 쏟는 현실에 공감하고 있습니다.

주요 논점

01찬성다수

LLM은 대화형 인터페이스로만 사용하고 핵심 비즈니스 로직은 규칙 기반으로 제어해야 한다는 주장이 다수의 지지를 얻음

합의점 vs 논쟁점

합의점

LLM 모델 자체의 성능보다 이를 둘러싼 시스템 아키텍처와 제어 레이어가 프로덕션 성공을 결정한다.
에이전트에게 과도한 자율성을 부여하는 것은 비즈니스 환경에서 위험 요소가 될 수 있다.

논쟁점

어느 정도 수준까지 규칙으로 제어하고 어느 정도를 LLM의 자율에 맡길 것인가에 대한 구체적인 경계 설정 문제

실용적 조언

에이전트 도입 시 초기부터 'Agent Script'와 같은 규칙 기반 스크립팅 레이어를 설계에 포함할 것
중요한 비즈니스 단계에서는 LLM의 판단에 의존하지 말고 결정론적 트리거를 사용할 것

섹션별 상세

Salesforce는 150만 건의 고객 대화를 처리하기 위해 Agentforce를 도입하고 4,000명의 지원 인력을 감축했으나 실제 운영에서 심각한 오류가 발생했다. 특정 지침이 명확함에도 만족도 조사가 무작위로 전송되지 않는 등 LLM의 비결정론적 특성으로 인한 문제가 확인됐다. 이는 단순한 모델 성능의 문제가 아니라 모델을 제어하는 시스템 구조의 부재에서 기인한 결과이다.

에이전트가 대화 과정에서 목표를 상실하는 AI 드리프트 현상이 주요 문제로 지적됐다. 컨텍스트가 누적될수록 에이전트가 초기 목적에 집중하지 못하고 엉뚱한 방향으로 추론을 전개하는 현상이 발생했다. 이를 해결하기 위해 Salesforce는 단계별 로직을 강제하는 규칙 기반 스크립팅 레이어인 Agent Script를 사후에 도입했다.

LLM-as-judge와 같은 사후 검증 프로토콜만으로는 사용자 경험을 완벽히 보호할 수 없다는 실무적 합의가 제시됐다. 이미 잘못된 답변을 받은 고객은 두 번째 기회를 주지 않으므로 실행 전 단계에서 제약 사항을 강제하는 거버넌스 인프라가 필수적이다. 비즈니스 크리티컬한 프로세스에는 결정론적 로직을, 대화 인터페이스에는 LLM을 사용하는 하이브리드 구조가 권장된다.

인프라 수준의 거버넌스 없이 AI를 프로덕션에 배포하는 것은 위험하며 Salesforce의 주가 하락(고점 대비 34%)이 그 여파를 보여준다. 실행 전 단계의 강제력 부재, 턴 간 제약 조건 유지 실패, 지침 준수 여부 미확인 등이 실패의 핵심 요인으로 분석됐다. 결국 에이전트의 자율성보다는 비즈니스 규칙을 강제할 수 있는 엔포스먼트 레이어(Enforcement Layer) 구축이 성공의 관건이다.

용어 해설

AI 드리프트(AI Drift): — LLM 에이전트가 대화가 길어지고 컨텍스트가 누적됨에 따라 초기 설정된 주요 목표나 지침에서 점차 벗어나는 현상이다. 이는 에이전트의 추론 일관성을 해치고 예측 불가능한 행동을 유발하여 비즈니스 프로세스의 신뢰도를 떨어뜨리는 원인이 된다.
결정론적 로직(Deterministic Logic): — 동일한 입력에 대해 항상 동일한 결과를 보장하는 규칙 기반의 프로그래밍 방식이다. 확률적으로 동작하는 LLM과 달리 비즈니스 필수 규칙이나 워크플로를 강제하여 시스템의 예측 가능성과 안정성을 확보하는 데 필수적이다.
판사로서의 LLM(LLM-as-judge): — 하나의 LLM이 생성한 응답이나 결과물을 다른 LLM이 평가하고 검증하는 품질 관리 기법이다. 실시간 모니터링과 자동화된 평가 시스템 구축에 활용되지만, 사후 검증 방식이기에 사용자 경험 훼손을 완전히 막지는 못한다는 한계가 있다.

언급된 도구

Agentforce중립

Salesforce의 자율형 AI 에이전트 플랫폼

Agent Script추천

에이전트의 행동을 예측 가능하게 강제하는 규칙 기반 스크립팅 레이어