챕터별 상세
00:00
LLM 평가의 현주소와 문제점
과거 ML 엔지니어링은 데이터 분석과 지표 설계에 신중했다. 현재 AI 엔지니어링은 LLM의 응답에 의존하는 'vibes-based' 평가 방식이 주를 이룬다. 이러한 방식은 모델의 성능을 객관적으로 측정하기 어렵게 만든다.
이전의 ML 엔지니어링과 현재의 LLM 엔지니어링 간의 평가 방식 차이를 이해해야 한다.
03:28
실수 1: 모호한 범용 지표 사용
Helpfulness, Coherence, Hallucination과 같은 범용 지표는 정의가 모호하다. 도메인마다 실패 모드가 다르므로, 오프더셀프 지표를 그대로 사용하는 것은 부적절하다. 데이터를 직접 탐색하여 구체적인 실패 유형을 정의해야 한다.
범용 지표가 왜 LLM 평가에 부적합한지 이해해야 한다.
06:04
실수 2: LLM judge에 대한 맹신
LLM judge를 무조건 신뢰하는 것은 위험하다. LLM judge를 완벽하지 않은 분류기로 간주하고, train/dev/test 데이터셋으로 분할하여 성능을 검증해야 한다. 불균형 분류 문제로 접근하여 정밀도와 재현율을 측정하는 것이 바람직하다.
LLM judge를 머신러닝 분류기처럼 다루는 접근법이 필요하다.
08:26
실수 3: 잘못된 실험 설계와 합성 데이터
합성 데이터 생성 시 LLM에만 의존하면 데이터의 다양성이 부족해진다. 가설을 세워 변수를 설정하고, 조합을 생성한 뒤 사람이 직접 품질을 검수해야 한다. 실제 로그를 기반으로 데이터셋을 구성하는 것이 효과적이다.
합성 데이터 생성 시 발생할 수 있는 편향과 품질 문제를 이해해야 한다.
10:13
실수 4: 잘못된 지표 설계와 라벨링 주체
1-100점 척도 같은 지표는 해석이 어렵다. 이진 분류(Pass/Fail)로 단순화하여 지표를 실행 가능하게 만들어야 한다. 데이터 라벨링을 개발자에게 맡기지 말고, 도메인 전문성을 가진 사람이 직접 수행해야 한다.
지표의 해석 가능성과 라벨링의 전문성이 왜 중요한지 알아야 한다.
13:03
실수 5: 과도한 자동화와 Criteria Drift
모든 평가를 자동화하는 것은 불가능하다. Criteria Drift 현상으로 인해 평가 기준이 모델 출력에 따라 변할 수 있다. 사람이 직접 데이터를 확인하고 평가 기준을 지속적으로 조정하는 과정이 필수적이다.
Criteria Drift는 평가 기준이 데이터에 따라 변하는 현상을 의미한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 12.수집 2026. 06. 12.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
