섹션별 상세
기존의 실행 로그나 시스템 프롬프트를 입력하면 이를 기반으로 연구 데이터에 근거한 평가용 프롬프트를 자동으로 구성합니다. 사용자는 복잡한 프롬프트 엔지니어링 과정 없이도 RAG 응답, 에이전트 궤적, 도구 호출 결과 등 다양한 템플릿을 선택하여 평가기를 만들 수 있습니다.
평가 방식은 하나의 응답에 점수를 매기는 Pointwise 모드와 두 응답 중 더 나은 것을 선택하는 Pairwise 모드를 모두 지원합니다. 대부분의 팀은 단일 트레이스에 대해 점수를 부여하는 Pointwise 방식을 기본으로 사용하며, A/B 테스트가 필요한 경우에만 Pairwise를 활용하도록 설계되었습니다.
text
You are an impartial evaluator. Decide whether a single response satisfies one criterion. Criterion: faithfulness. pass: Every factual claim in the response is supported by the reference. No invented entities, numbers, or quotes. fail: The response contains at least one claim that is not supported by, or directly contradicts, the reference.LLM 평가자가 성실성(Faithfulness)을 기준으로 응답을 판정하도록 지시하는 시스템 프롬프트 예시
성실성(Faithfulness) 평가 기준을 적용할 때 모델이 응답 내의 모든 사실적 주장(엔티티, 숫자, 날짜 등)을 열거하고 참고 문헌과 대조하도록 절차를 명시합니다. 이 과정에서 모델 자신의 지식이 아닌 오직 제공된 문헌에만 근거하여 판정하도록 강제함으로써 할루시네이션을 엄격히 차단합니다.
근거
- 평가 결과는 오직 'pass' 또는 'fail'이라는 한 단어로만 출력하도록 제한할 수 있습니다. — Score Range Prompt 섹션
입력 데이터에 포함될 수 있는 지시사항 무시 공격(Prompt Injection)을 방지하기 위해 보안 가이드라인이 프롬프트에 내장되어 있습니다. 평가 대상 데이터 내에 '이전 지시 무시'와 같은 문구가 있더라도 이를 명령이 아닌 평가해야 할 데이터로만 취급하도록 설계되어 평가의 객관성을 유지합니다.
용어 해설
- 판사로서의 LLM(LLM as a Judge)
- — LLM을 사용하여 다른 AI 모델의 응답 품질을 평가하는 기법입니다. 사람이 직접 평가하는 대신 고성능 모델이 미리 정의된 기준(정확성, 성실성 등)에 따라 점수를 매기거나 합격 여부를 판정하여 평가 프로세스를 자동화하고 확장성을 높입니다.
- 단일 항목 평가(Pointwise Evaluation)
- — 하나의 모델 응답에 대해 독립적으로 점수를 부여하거나 기준 충족 여부를 판단하는 방식입니다. 여러 응답을 비교하는 Pairwise 방식과 달리 절대적인 기준에 따라 개별 결과물의 품질을 측정할 때 주로 사용됩니다.
- 성실성/충실성(Faithfulness)
- — AI의 응답이 제공된 참고 문헌(Reference)에 얼마나 충실하게 근거하고 있는지를 나타내는 지표입니다. 모델이 외부 지식을 임의로 추가하거나 문헌에 없는 내용을 지어내는 할루시네이션(Hallucination) 현상을 방지하기 위한 핵심 평가 기준입니다.
- 퓨샷(Few-shot)
- — 모델에게 작업을 수행하는 방법을 가르치기 위해 몇 가지 예시를 프롬프트에 포함하는 기법입니다. 평가용 LLM에게 구체적인 합격/불합격 사례를 제공함으로써 평가의 일관성과 정확도를 높이는 데 기여합니다.
근거 모음
근거
- 입력된 데이터와 추출된 퓨샷 예제는 6시간 동안 캐싱됩니다. — Privacy details 섹션
기술
- LLM
- RAG
활용 사례
- RAG 응답의 사실 관계 검증
- AI 에이전트의 도구 호출 정확도 평가
- SQL 생성 모델의 결과물 판정
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 30.수집 2026. 04. 30.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
