에이전트 개선 루프에서의 인간 판단 활용 가이드

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

AI 에이전트가 조직의 전문 지식을 온전히 반영하기 위해서는 전문가의 판단을 개발 사이클 전반에 통합하는 '에이전트 개선 루프'가 필수적이다. 단순히 수동 검수에 의존하는 대신, LangSmith의 Align Evaluator와 같은 도구를 활용해 전문가의 기준을 LLM 평가기에 학습시켜 대규모 자동 평가 체계를 구축해야 한다. 금융 거래 코파일럿 사례를 통해 워크플로 설계, 도구 구성, 컨텍스트 엔지니어링 단계에서 인간의 판단이 어떻게 개입되는지 구체적으로 보여준다. 최종적으로 운영 데이터에서 추출한 '골든 데이터셋'을 기반으로 모델을 지속적으로 고도화하는 선순환 구조를 만드는 것이 핵심이다.

배경

AI 에이전트의 기본 개념 (Tool use, Planning), LangChain 및 LangSmith 플랫폼에 대한 기초 지식, LLM-as-a-Judge 평가 방식에 대한 이해

대상 독자

프로덕션 환경에서 AI 에이전트를 구축하고 성능을 지속적으로 개선하고자 하는 ML 엔지니어 및 제품 관리자

의미 / 영향

이 가이드는 AI 에이전트 개발이 단순한 프롬프트 작성을 넘어 지속적인 데이터 루프를 관리하는 MLOps의 영역임을 시사한다. 특히 전문가의 지식을 평가 로직에 이식하는 방법론은 에이전트의 신뢰성을 확보하고 대규모 배포를 가능하게 하는 핵심 동력이 될 것이다.

섹션별 상세

조직 내 전문가들이 가진 암묵적 지식은 AI 에이전트가 의미 있는 업무를 수행하기 위해 반드시 흡수해야 할 핵심 요소이다. 금융 도메인의 관례나 데이터베이스의 실제 사용 특성 등 문서화되지 않은 지식을 에이전트에게 전달하기 위해 도메인 전문가와의 협업이 필수적이다. 이를 통해 에이전트는 단순한 SQL 생성을 넘어 비즈니스 맥락에 맞는 정확한 결과를 도출할 수 있다.

에이전트 개선 루프의 전체 과정을 보여주는 무한대 기호 형태의 다이어그램이다. — Diagram에이전트 구축(Build & Improve)을 시작으로 배포(Deploy), 오프라인 평가(Offline Evals), 사전 프로덕션 관찰(Observe & Debug), 프로덕션 관찰(Observe), 온라인 평가(Online Evals), 인간 리뷰(Annotations)로 이어지는 순환 구조를 시각화한다. 개발 단계와 운영 단계가 어떻게 상호작용하며 에이전트를 고도화하는지 핵심 워크플로를 설명한다.

에이전트의 워크플로와 도구 설계 단계에서 인간의 판단은 안전성과 유연성 사이의 균형을 잡는 역할을 한다. 모든 과정을 LLM의 자율성에 맡기기보다 규제 준수가 필요한 핵심 단계에는 결정론적 코드를 배치하여 리스크를 관리해야 한다. 전문가의 피드백을 바탕으로 도구의 파라미터와 설명을 최적화함으로써 모델이 잘못된 도구를 선택할 확률을 낮출 수 있다.

컨텍스트 엔지니어링은 에이전트에게 필요한 지식을 구조화하고 런타임에 적절히 노출하는 고도의 설계 과정이다. 모든 정보를 시스템 프롬프트에 넣는 대신 Anthropic의 Skills와 같은 표준을 활용해 필요한 시점에만 지식을 검색하게 함으로써 토큰 효율성을 높인다. 전문가의 검토를 거쳐 에이전트가 참조할 문서와 규칙을 선별하는 과정이 에이전트의 지능을 결정한다.

에이전트의 출력값을 기준 정답(Reference Outputs)과 비교하여 정확도를 측정하는 실험 결과 화면이다. — Screenshot질문에 대한 에이전트의 답변이 기준 정답과 일치하는지 여부를 0.0과 1.0으로 점수화하여 보여준다. 개발 단계에서 데이터셋을 기반으로 에이전트의 성능을 정량적으로 평가하는 과정을 구체적으로 예시한다.

근거

Anthropic의 Skills 표준을 활용하면 시스템 프롬프트 비대화 없이 대량의 도메인 지식을 에이전트에게 제공할 수 있다. — Agent Context 섹션 내 Anthropic's Skills 언급

확장 가능한 평가 체계를 구축하기 위해 전문가의 판단을 자동화된 평가기(Evaluator)로 변환하는 과정이 필요하다. LangSmith의 Align Evaluator 기능을 사용하면 전문가가 매긴 점수와 이유를 바탕으로 LLM 판사의 기준을 교정할 수 있다. 이는 수동 검수의 한계를 극복하고 대량의 프로덕션 데이터를 지속적으로 모니터링할 수 있는 기반이 된다.

LangSmith의 Align Evaluator 인터페이스에서 인간의 판단과 LLM의 평가 결과를 비교하는 화면이다. — Screenshot특정 응답에 대해 인간은 1.0(긍정)으로 평가했으나 LLM은 0.0(부정)으로 평가하여 정렬도가 56%로 낮게 나타난 사례를 보여준다. 이를 통해 개발자가 평가기의 시스템 프롬프트를 수정하여 인간의 기준에 맞게 LLM 판사를 교정해야 함을 시사한다.

근거

전문가의 판단을 자동화된 평가기로 변환하는 것이 인간의 시간을 투자 대비 가장 높은 효율로 사용하는 방법이다. — The key to high return on human time invested 섹션

실제 운영 환경에서 발생하는 데이터를 다시 테스트 세트로 전환하는 선순환 구조가 에이전트의 장기적인 성능을 보장한다. 온라인 평가기를 통해 사용자 불만이나 오류가 감지된 트레이스를 어노테이션 큐로 보내 전문가가 검토하게 한다. 이렇게 검증된 최상의 사례들을 모아 '골든 데이터셋'을 구축함으로써 다음 버전 에이전트의 성능 기준점을 확보한다.

사용자의 '좌절(Frustration)' 여부를 판단하기 위한 LLM 평가기의 루브릭(평가 기준) 설정 화면이다. — ScreenshotTrue와 False를 판단하는 구체적인 조건(명시적 불만 표현, 반복적 요청 등)을 프롬프트로 정의하는 방법을 보여준다. 온라인 모니터링 시 어떤 기준으로 사용자 경험을 자동 평가할 수 있는지에 대한 실무적인 예시를 제공한다.

LangSmith Insights Agent가 생성한 데이터 분석 리포트 목록 화면이다. — Screenshot에러 분석, 질문 주제 분류, 사용 패턴 등을 자동으로 클러스터링하여 리포트로 제공하는 모습을 보여준다. 수많은 트레이스 데이터 속에서 인간이 직접 찾기 어려운 숨겨진 패턴을 AI가 먼저 찾아내어 개선 방향을 제시함을 설명한다.

근거

온라인 평가기를 통해 사용자 불만족을 자동 감지하고 이를 어노테이션 큐로 보내 전문가 검토를 유도할 수 있다. — After deployment 섹션 및 LangSmith automation 설명

용어 해설

LLM-as-a-Judge: — 대규모 언어 모델을 사용하여 다른 AI 모델의 응답 품질을 평가하는 기법이다. 사람이 모든 데이터를 검수하기 어려운 대규모 환경에서 일관된 기준에 따라 자동화된 평가를 수행하며, 정성적인 피드백을 수치화하여 모델 개선의 지표로 활용한다.
Context Engineering: — 에이전트가 실행될 때 제공되는 지식과 정보를 설계하고 조직화하는 과정이다. 단순히 시스템 프롬프트를 작성하는 것을 넘어, 에이전트가 런타임에 필요한 도메인 규칙이나 문서를 효율적으로 검색하고 활용할 수 있도록 구조화하는 기술을 의미한다.
Golden Dataset: — 전문가에 의해 검증된 가장 이상적인 질문-답변 쌍의 집합이다. 모델 업데이트 시 성능 저하 여부를 판단하는 기준점(Baseline)으로 활용되며, 에이전트가 반드시 달성해야 하는 정답 표준 역할을 한다.
Annotation Queue: — 사람 전문가가 검토해야 할 특정 데이터(로그, 트레이스)를 모아둔 작업 대기열이다. 자동화된 평가기에서 낮은 점수를 받은 사례나 모호한 사례를 선별하여 전문가의 직접적인 피드백을 받음으로써 평가 로직을 정교화하는 데 사용된다.

기술

LangChain
LangSmith
Anthropic Skills
SQL

활용 사례

금융 데이터 분석용 SQL 생성 에이전트
고객 지원 챗봇의 품질 모니터링
도메인 특화 지식 기반의 코파일럿 구축

언급된 리소스

문서LangSmith Align Evaluator

문서Anthropic Skills Standard