AI가 작성한 가짜 변론서로 자격 정지된 변호사 사례와 팩트체크 가이드

사례의 심각성에 공감하며, AI를 도구가 아닌 권위자로 대우했을 때의 위험성에 대해 경계하는 분위기이다.

• 프롬프트 끝에 'For every specific fact, mark it with [VERIFY]'를 추가하여 검증 지점을 명시한다.
• AI 답변의 출처를 확인할 때는 반드시 제공된 링크를 클릭하여 실제 문서 내용과 일치하는지 대조한다.

Hallucination

— LLM이 학습 데이터에 없는 사실을 마치 진실인 것처럼 그럴듯하게 생성해내는 현상이다. 확률적인 단어 예측 과정에서 발생하며, 법률이나 통계처럼 정확성이 필수적인 도메인에서 심각한 오류를 초래할 수 있다.

Grounded Tools

— 실시간 웹 검색이나 외부 데이터베이스 연결을 통해 생성된 답변의 근거를 외부 소스에서 찾는 도구이다. 모델 내부의 지식에만 의존하지 않고 실제 출처를 인라인 인용 형식으로 제공하여 신뢰성을 높인다.

Pattern Completion

— LLM이 입력된 텍스트 다음에 올 가장 확률 높은 단어 뭉치를 예측하여 문장을 완성하는 메커니즘이다. 모델은 데이터베이스처럼 사실을 조회하는 것이 아니라 통계적 패턴을 따르기 때문에 가짜 사실을 생성할 위험이 있다.