실제 유료 고객에게 5개의 AI 에이전트를 배포하며 얻은 5가지 실무 패턴

커뮤니티 반응

실무에서 겪는 고충과 일치하는 '지루하지만 작동하는' 실용적인 조언이라는 점에서 매우 긍정적인 반응을 얻고 있다.

주요 논점

01찬성다수

데모용 화려한 기술보다 결정론적 코드와 상태 관리 같은 기본기가 상용화의 핵심이다.

합의점 vs 논쟁점

합의점

LLM의 불확실성을 인정하고 이를 보완할 외부 시스템(DB, 검증 로직) 설계가 중요하다.
비용과 성능의 균형을 위해 모델 라우팅 및 재시도 전략이 유효하다.

실용적 조언

비용 절감을 위해 GPT-4 mini를 분류 및 1차 시도용으로, Claude를 복잡한 추론용으로 혼합 사용하라.
비동기 작업 처리를 위해 BullMQ를, 상태 저장을 위해 Postgres를 활용하는 스택이 안정적이다.
중요한 외부 API 호출 전에는 반드시 데이터 규격과 범위를 확인하는 유효성 검사 코드를 배치하라.

섹션별 상세

LLM은 의사결정만 내리고 실제 작업은 결정론적 코드로 작성된 도구가 수행하는 'Thin LLM, Fat Tools' 패턴을 적용했다. 초기에는 LLM이 직접 메시지 포맷팅 등을 수행하게 했으나 단계 누락 등의 오류가 잦았고, 도구 호출 방식으로 전환한 후 에러율이 약 80% 감소했다. 이는 확률적인 모델의 출력을 제어 가능한 소프트웨어 로직으로 분리하여 안정성을 확보한 사례이다.

LLM의 컨텍스트 윈도우에 의존하지 않고 Postgres나 MongoDB에 상태 객체를 명시적으로 저장하여 관리한다. 워크플로의 매 단계마다 이 상태를 읽고 쓰며, 프롬프트 시작 시 현재 상태를 주입하여 모델의 기억 상실 문제를 해결했다. 긴 워크플로에서 문맥 유실은 필연적이므로 외부 저장소를 통한 상태 동기화가 프로덕션의 핵심이다.

비용 효율화를 위해 GPT-4 mini나 Claude Haiku 같은 경량 모델을 먼저 사용하고 실패 시에만 고성능 모델로 재시도하는 전략을 사용했다. 신뢰도가 낮거나 유효성 검사 실패 시에만 더 비싼 모델을 호출함으로써 사용자 경험의 저하 없이 API 비용을 획기적으로 절감했다. 이는 모든 요청에 고비용 모델을 사용할 필요가 없음을 실무적으로 입증한 결과이다.

모든 실무 액션 전에는 반드시 'Sanity Check'라고 불리는 유효성 검사 단계를 거쳐야 한다. 이메일 형식이 올바른지, 거래 금액이 예상 범위 내에 있는지 확인하는 단계가 없으면 운영 첫 주 안에 사용자에게 잘못된 데이터가 전달될 위험이 크다. 자동화된 검증 루프는 에이전트의 자율성으로 인해 발생할 수 있는 치명적 실수를 방지하는 안전장치 역할을 한다.

송금, 데이터 삭제, 공개 게시물 작성 등 되돌릴 수 없는 작업에는 반드시 인간의 승인(Human-in-the-loop) 단계를 포함했다. 효율성을 위해 이 단계를 생략하려 했던 고객사에서 사용자가 의도보다 10배 많은 금액을 이체할 뻔한 사고가 발생한 후 즉시 복구되었다. 기술적 완결성보다 비즈니스 리스크 관리가 실무 에이전트 설계에서 더 우선순위가 높음을 시사한다.

용어 해설

인간 참여형 루프(Human-in-the-loop): — AI 시스템의 의사결정 과정에 인간이 개입하여 최종 승인이나 수정을 담당하는 설계 방식이다. 송금이나 데이터 삭제와 같이 되돌릴 수 없는 치명적인 작업을 수행하기 전 인간의 확인을 거침으로써 AI의 오작동으로 인한 사고를 방지하고 신뢰성을 확보하는 데 필수적이다.
상태 관리(State Management): — 워크플로의 각 단계에서 발생하는 데이터와 진행 상황을 외부 데이터베이스에 명시적으로 저장하고 관리하는 기법이다. LLM의 컨텍스트 윈도우에만 의존할 경우 발생하는 정보 유실(Amnesia) 문제를 해결하며, 시스템 장애 시에도 마지막 저장 지점부터 복구할 수 있게 한다.
결정론적 코드(Deterministic Code): — 동일한 입력에 대해 항상 동일한 출력을 보장하는 전통적인 프로그래밍 방식이다. 확률적으로 동작하는 LLM에게 복잡한 로직을 맡기는 대신, LLM은 도구 선택만 수행하고 실제 실행은 검증된 코드가 담당하게 하여 에러율을 획기적으로 낮출 수 있다.

언급된 도구

Claude API추천

복잡한 추론 및 의사결정

GPT-4 mini추천

저비용 분류 및 1차 작업 시도

BullMQ추천

비동기 작업 큐 관리

Postgres추천

명시적 상태(State) 저장