LangChain 에이전트를 위한 Human-in-the-Loop API: 승인 요청 및 일시 정지 기능 구현

커뮤니티 반응

작성자가 피드백을 요청한 상태이며, 에이전트의 안전한 운영을 고민하는 개발자들에게 유용한 도구로 평가받고 있다.

합의점 vs 논쟁점

합의점

에이전트의 자율적인 도구 사용에는 반드시 사람의 승인 절차가 필요하다.
이메일 기반의 승인 방식은 별도의 대시보드 구축 없이도 간편하게 HITL을 구현할 수 있는 방법이다.

실용적 조언

비가역적인 API 호출을 수행하는 에이전트 도구에 ask_human_approval을 래퍼로 사용하면 안전성을 확보할 수 있다.
타임아웃 설정을 통해 에이전트가 무한정 대기하는 상황을 방지해야 한다.

섹션별 상세

에이전트의 비가역적 작업 제어 문제가 제기됐다. 에이전트가 이메일 전송이나 레코드 삭제와 같은 되돌릴 수 없는 작업을 수행할 때 안전하게 일시 정지하고 사람의 개입을 유도하는 표준화된 방법이 부족했다. 작성자는 이를 해결하기 위해 ask_human_approval이라는 도구를 정의하여 에이전트 워크플로우에 통합하는 방식을 제안했다.

python

from langchain.tools import tool
import askfirst

@tool
def ask_human_approval(question: str, context: str = "") -> dict:
    """Request human approval before taking an irreversible action"""
    return askfirst.ask(
        question=question,
        context=context,
        notify="[email protected]",
        timeout_minutes=30
    )

# Then in your agent:
tools = [ask_human_approval, ...your other tools]
agent = initialize_agent(tools, llm, agent=AgentType.OPENAI_FUNCTIONS)

AiskFirst API를 LangChain 도구로 정의하여 에이전트 워크플로우에 통합하는 예시 코드

AiskFirst API의 작동 메커니즘은 이메일 기반 승인 시스템을 활용한다. 에이전트가 특정 도구를 호출하면 API가 사용자에게 승인/거부 버튼이 포함된 이메일을 발송하고 응답이 올 때까지 실행을 일시 정지한다. 사용자가 버튼을 클릭하면 {"approved": true/false} 형태의 데이터를 에이전트에게 반환하여 후속 작업을 결정하게 한다.

실무적 편의성과 감사 추적 기능이 포함됐다. 30분의 타임아웃 설정과 이메일 알림 기능을 통해 실시간 대응이 가능하며 모든 승인 과정이 감사 로그에 기록되어 운영 안정성을 높인다. 무료 티어에서 월 50회의 승인 요청을 제공하여 소규모 프로젝트나 프로토타입 단계에서 즉시 도입이 가능하다.

용어 해설

인간 참여형 시스템(Human-in-the-Loop): — AI 모델의 의사결정 과정에 사람이 직접 개입하여 결과를 검토하거나 승인하는 설계 방식이다. 에이전트가 이메일 발송이나 데이터 삭제와 같은 비가역적인 작업을 수행하기 전 안전 장치 역할을 하여 시스템의 신뢰성을 높인다.
에이전트(Agent): — LLM이 자율적으로 계획을 수립하고 도구를 사용하여 주어진 목표를 달성하는 시스템이다. 단순히 텍스트를 생성하는 것을 넘어 외부 API 호출이나 데이터베이스 조작 등 실질적인 작업을 수행할 수 있다.
감사 추적(Audit Trail): — 시스템 내에서 발생한 모든 활동과 승인 과정을 시간 순서대로 기록한 로그 데이터이다. 보안 사고 발생 시 원인을 파악하거나 작업의 정당성을 증명하는 용도로 활용된다.

언급된 도구

AiskFirst추천링크

LangChain 에이전트를 위한 Human-in-the-Loop 승인 API

LangChain중립

LLM 에이전트 구축 프레임워크

언급된 리소스

DemoAiskFirst 공식 사이트