CrewAI의 Human-in-the-Loop: AI 에이전트의 배포 범위를 확장하는 핵심 아키텍처

섹션별 상세

HITL은 AI 에이전트의 배포 가능 영역을 99.9%의 정확도나 규제 준수가 필요한 복잡한 유즈케이스까지 확장하는 역할을 수행한다. 단순히 에이전트의 부족함을 메우는 것이 아니라, 인간의 판단과 책임이 필요한 지점에 체크포인트를 설계함으로써 파일럿 단계에 머물던 프로젝트를 실제 운영 환경으로 전환시킨다.

에이전틱 시스템은 결정론적 백본(Flows), 추론을 담당하는 지능(LLM/Agents), 그리고 판단과 책임성을 부여하는 HITL의 세 가지 레이어로 구성된다. HITL은 워크플로를 일시 중지하고 직접 개입하는 'Human-in-the-loop' 방식과, 전체 과정을 모니터링하며 필요시 개입하는 'Human-on-the-loop' 방식으로 나뉜다.

AB InBev는 연간 2,000만 건의 티켓 처리 프로세스에 CrewAI의 HITL 아키텍처를 도입하여 30%는 완전 자동화하고 70%는 인간과 에이전트가 협업하는 구조를 구축했다. 이를 통해 특정 유즈케이스에서만 약 2,800만 달러의 가치 창출을 목표로 하고 있으며, 이는 대규모 엔터프라이즈 환경에서 에이전트의 실질적 활용 가능성을 보여준다.

오픈소스 CrewAI Flows에서는 @human_feedback 데코레이터를 사용하여 코드 한 줄로 인간의 검토 단계를 추가할 수 있다. 이 기능은 상태 유지와 감사 이력을 기본으로 지원하며, 승인, 거절, 수정 필요 등 응답에 따른 동적 라우팅을 가능하게 한다.

python

@human_feedback(
    message="Review this before sending:",
    emit=["approved", "rejected", "needs_revision"]
)
def review_content(self, content):
    # your logic in here
    return content

@human_feedback 데코레이터를 사용하여 워크플로에 인간의 검토 단계를 추가하는 예시이다.

엔터프라이즈용 AMP 플랫폼은 이메일 기반 알림, 스마트 라우팅, SLA 추적, 자동 응답 폴백 등 운영에 필요한 인프라를 제공한다. 특히 플랫폼 계정 없이 이메일 답장만으로 피드백을 줄 수 있는 기능과 CRM 데이터 기반의 담당자 자동 배정 기능은 실무 환경에서의 사용성을 극대화한다.

CrewAI AMP의 Human in the Loop 설정 화면 스크린샷이다. — Screenshot이메일 알림, 라우팅 규칙, SLA 목표 시간 설정 등 엔터프라이즈 환경에서 HITL을 관리하기 위한 구체적인 제어 옵션들을 보여준다. 특히 120분으로 설정된 SLA Target과 같은 수치적 관리 요소를 확인할 수 있다.

용어 해설

인간 참여형 시스템(Human-in-the-Loop): — AI 모델의 의사결정 과정에 인간이 개입하여 결과를 검토하거나 수정하는 설계 방식이다. 완전 자동화가 어려운 고위험군 업무에서 정확도와 신뢰성을 보장하기 위해 필수적으로 사용된다.
에이전틱 워크플로(Agentic Workflow): — LLM이 단순히 응답을 생성하는 것을 넘어, 목표 달성을 위해 계획을 세우고 도구를 사용하며 반복적으로 작업을 수행하는 일련의 흐름이다. CrewAI Flows와 같은 프레임워크를 통해 구조화된다.
서비스 수준 협약(SLA): — 서비스 제공자가 사용자에게 약속하는 성능 지표이다. HITL 맥락에서는 인간 검토자가 피드백을 제공해야 하는 목표 시간(예: 120분 이내)을 관리하고 병목 현상을 파악하는 데 사용된다.
감사 추적(Audit Trail): — 시스템 내에서 발생한 모든 활동과 의사결정 과정을 시간 순서대로 기록한 이력이다. 규제 준수와 보안 점검을 위해 AI의 판단과 인간의 승인 내역을 보존하는 것이 중요하다.

기술

CrewAI
Python
AMP

활용 사례

고객 지원 티켓 처리 자동화
마케팅 및 영업 자료 생성 검토
규제 준수가 필요한 금융 의사결정 보조

언급된 리소스

문서CrewAI Documentation