이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작성자는 팩트체킹 시스템이 생성한 URL 215개를 직접 확인해 12개가 죽었거나 존재하지 않는다는 사실을 확인했고, 그중 일부는 최상위 출처로 평가돼 판정의 신뢰성을 왜곡했습니다. 원인은 모델이 JSON 안에 직접 쓴 인용 목록을 실제 검색 결과와 구분하지 않고 사용한 구조였으며, 신뢰도 높은 도메인에 허구의 경로를 붙인 URL도 통과했습니다. 해결책은 Retrieval Layer가 반환한 URL만 인용 후보로 삼고, 낮은 Temperature로 출처 귀속을 제한하며, 노출 전 URL 응답과 주장 포함 여부를 함께 검사하는 방식입니다. 작성자는 답변 정확도와 별도로 인용 충실성, 출처 신뢰도, 모델별 허위 인용률을 평가해야 한다고 정리했습니다.
실용적 조언
- 모델 출력의 인용 목록을 최종 근거로 사용하지 말고 Retrieval Layer가 실제로 반환한 URL을 원본 집합으로 보존해야 합니다. 모델이 추가한 출처는 검색 결과와 대조되기 전까지 미검증 항목으로 취급해야 합니다. 이렇게 처리하면 모델이 도메인과 문서 경로를 조합해 허구의 페이지를 만드는 경로를 차단할 수 있습니다.
- 모델이 인용할 수 있는 대상을 검색 결과 집합으로 제한하고, 출처 추출과 주장 귀속 단계에는 낮은 Temperature를 적용해야 합니다. 입력으로 제공된 후보에서 출처를 고르게 하면 모델의 자유 연상으로 새 URL을 생성할 여지가 줄어듭니다. 검색 결과가 비어 있거나 주장을 뒷받침하지 못하면 인용을 추가하는 대신 근거 부족 상태를 유지해야 합니다.
- URL을 사용자에게 보여주기 전에 HTTP 응답 여부뿐 아니라 페이지가 실제로 해당 주장을 포함하는지도 검사해야 합니다. 404가 아니더라도 내용이 바뀌었거나 주장을 뒷받침하지 않는 페이지라면 검증 실패로 분류해야 합니다. 검사를 통과하지 못한 URL은 최종 답변의 출처 목록에서 제거해야 합니다.
- 도메인 평판과 개별 출처의 신뢰도를 분리해 점수화해야 합니다. 평판이 좋은 도메인에 허구의 경로가 붙은 경우에는 도메인 신뢰도가 페이지의 존재나 주장 적합성을 대신하지 못하도록 별도 검사를 적용해야 합니다. 이 분리를 통해 권위 있어 보이는 허위 인용이 최종 판정을 지지하는 현상을 줄일 수 있습니다.
- 모델 평가는 답변 품질만으로 끝내지 말고 인용 충실성을 별도 지표로 측정해야 합니다. 글의 실험에서는 모델마다 허위 참고문헌 생성 빈도가 달랐고, 가장 똑똑하다고 평가되는 모델이 항상 가장 근거 중심적인 모델은 아니었습니다. 실제 운영에서는 모델별 죽은 인용률과 주장·출처 일치율을 함께 비교해야 합니다.
섹션별 상세
작성자는 팩트체킹 파이프라인이 인용한 URL 215개를 직접 확인한 결과 12개가 죽은 링크이거나 애초에 존재하지 않는 페이지였다고 밝혔습니다. 이는 약 18개 중 1개에 해당하며, 일부는 시스템이 최상위 출처로 평가한 항목이어서 최종 판정의 권위와 실제 근거 사이에 불일치가 생겼습니다. 순차적으로 보이는 문서 ID, 존재하지 않는 Wikipedia 하위 도메인, 실제 도메인 안의 404 페이지가 오류 사례로 확인됐습니다.
오류의 핵심 원인은 모델이 JSON 출력의 일부로 직접 작성한 인용 목록을 검증 없이 화면에 사용한 구조였습니다. 검색 API에는 실제로 회수된 출처가 있었지만, 표시 단계에서는 그 목록이 아니라 모델이 새로 만든 URL이 사용됐고, URL의 존재 여부나 페이지 내용과 주장의 일치 여부를 확인하는 절차도 없었습니다. 따라서 신뢰할 만한 도메인에 허구의 경로를 붙인 인용도 도메인 평판을 이용해 통과할 수 있었습니다.
작성자는 모델이 추가한 인용을 그대로 믿지 않고 Retrieval Layer가 실제로 반환한 URL을 기준으로 삼는 방식으로 문제를 고쳤습니다. 모델이 인용할 수 있는 대상을 검색 결과 집합으로 제한하고, 추출과 출처 귀속 단계의 Temperature를 낮춘 뒤, 노출 전에 모든 URL의 응답 여부와 페이지 내 주장 존재 여부를 검사했습니다. 여기에 출처 자체의 신뢰도 점수를 별도로 계산하고, 답변 정확도와 인용 충실성을 분리해 모델을 평가하는 절차를 추가했습니다.
용어 해설
- 검색 계층(Retrieval Layer)
- — 검색 계층은 모델이 답변을 만들기 전에 외부 문서와 URL을 찾아 반환하는 처리 단계입니다. 이 글에서는 모델이 직접 작성한 인용 목록 대신 이 계층이 실제로 검색한 출처를 기준으로 삼아 인용 조작을 줄이는 역할을 합니다.
- 인용 충실성(Citation Faithfulness)
- — 인용 충실성은 답변의 출처가 실제로 존재하고, 해당 출처가 답변의 주장을 뒷받침하는지 측정하는 기준입니다. 글에서는 단순한 답변 품질과 별도로 모델별 인용 생성 오류를 평가해야 한다고 봅니다.
- 출처 신뢰도(Source Reliability)
- — 출처 신뢰도는 웹사이트의 명성이나 도메인 평판과 별개로 특정 페이지와 그 내용이 믿을 만한지를 평가하는 값입니다. 신뢰도 높은 도메인에 존재하지 않는 페이지가 붙어도 도메인 평판을 그대로 물려받지 않도록 분리해 산정해야 합니다.
- 낮은 Temperature 생성(Low-Temperature Decoding)
- — 낮은 Temperature 생성은 모델의 출력 무작위성을 줄여 주어진 후보 집합 안에서 더 일관되게 선택하도록 하는 방식입니다. 글에서는 검색된 출처의 추출과 귀속 단계에 이를 적용해 모델이 보지 못한 출처를 자유롭게 만들어내는 현상을 줄입니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 25.수집 2026. 08. 25.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
