독일 법률 컴플라이언스용 AI 비서 구축 시 발생한 인용 오류 해결 사례

커뮤니티 반응

대체로 긍정적이며, 전문 도메인에서 LLM의 환각(Hallucination)보다 더 무서운 것이 '부정확한 인용'이라는 점에 많은 사용자가 공감했다.

주요 논점

01찬성다수

법률 도메인에서는 단순한 답변보다 검증 가능한 정확한 인용이 시스템의 성패를 결정한다.

합의점 vs 논쟁점

합의점

LLM의 기본 어조는 법률 전문가가 보기에 지나치게 확신에 차 있어 신뢰도를 떨어뜨린다.
RAG 파이프라인 구축보다 인용 정확도를 높이는 후처리에 더 많은 리소스가 투입된다.

실용적 조언

LLM이 '정보 없음'을 선언하기 전에 유보적인 문구를 사용하도록 시스템 프롬프트를 설정하여 오탐을 줄여라.
인라인 인용 시 (Category: ...)와 같은 내부 레이블이 유출되지 않도록 출력 형식을 고정하라.

섹션별 상세

LLM이 구체적인 문서명 대신 메타데이터 범주를 인용하는 모호한 인용 문제가 발생했다. 예를 들어 특정 조항을 명시하는 대신 '전문 서적에 따르면'과 같이 추상적으로 서술하는 방식이다. 이를 해결하기 위해 카테고리 이름을 출처 참조로 절대 바꾸지 말라는 명시적 지침과 금지 예시를 프롬프트에 포함했다. 정확한 문서 식별자 사용을 강제함으로써 법률 전문가의 검증 가능성을 확보했다.

상급심과 하급심의 판결이 엇갈릴 때 LLM이 이를 하나의 입장으로 통합해버리는 정보 평탄화 현상이 관찰됐다. LLM은 논리적 권위보다 언어적 명확성이 높은 문장을 선택하는 경향이 있어 법적 위계질서를 왜곡할 위험이 있었다. 각 입장을 출처 및 권위 수준과 함께 분리하여 제시하도록 지침을 수정했다. 이 과정을 통해 법적 견해의 대립 상황을 사용자에게 정확히 전달할 수 있게 됐다.

컨텍스트 내에 정보가 존재함에도 불구하고 LLM이 정보가 없다고 단정하는 허위 부재 주장이 나타났다. 복잡하고 밀도 높은 법률 용어 사이에 정보가 매몰될 경우 LLM이 이를 검색하지 못하고 확신을 가지고 부재를 선언하는 방식이다. 철저한 검증 전에는 정보가 없다고 단언하지 못하게 제한하고 대신 '제공된 발췌본에 세부 사항이 포함되지 않았을 수 있음'과 같은 유보적 표현을 쓰도록 유도했다.

법률 분석에 부적절한 '의심의 여지 없이'와 같은 단정적이고 강조적인 표현을 LLM이 임의로 추가했다. 법률 실무에서는 분석 결과에 대해 객관적이고 신중한 어조를 유지하는 것이 전문성의 척도로 간주된다. 톤 조절 지침을 통해 감정적이거나 강조하는 수식어를 제거하고 소스 자체가 스스로 입증하도록 사실 중심의 서술 방식을 채택했다.

용어 해설

인용 실패 모드(Citation Failure Mode): — LLM이 제공된 컨텍스트를 바탕으로 답변을 생성할 때 출처를 잘못 기재하거나 모호하게 표기하는 오류 유형이다. 법률과 같이 엄격한 출처 확인이 필요한 도메인에서 시스템의 신뢰성을 저해하는 핵심 요인으로 작용한다.
권위 귀속(Authority Attribution): — 특정 법적 판단이나 의견이 어느 수준의 법원(상급심 또는 하급심)에서 나온 것인지 정확히 명시하는 과정이다. 법률 분석에서는 기관의 위계에 따라 판결의 효력이 달라지므로 LLM이 이를 정확히 구분하는 것이 필수적이다.
본문 내 인용(Inline Citation): — 텍스트 본문 중에 해당 정보의 출처를 직접 표기하는 방식이다. LLM이 내부 메타데이터 레이블을 그대로 노출하지 않고 사용자가 검증 가능한 문서 제목이나 조항으로 출력하도록 제어하는 것이 중요하다.

언급된 도구

LLM중립

법률 문서 분석 및 답변 생성