실제 환경에서의 LLM 환각: 존재하지 않는 인용문을 통한 대규모 증거

섹션별 상세

LLM의 확산과 함께 과학 논문 내 존재하지 않는 가짜 인용문이 기하급수적으로 증가하는 추세가 확인됐다. 연구진은 2025년 한 해 동안 약 14만 7천 건의 환각 인용이 발생했다고 분석하며, 이는 LLM이 지식 생산의 기초인 인용 체계를 오염시키고 있음을 시사한다.

근거

2025년 한 해 동안 보수적으로 추정해도 146,932건의 환각된 인용문이 발생했다. — Abstract 섹션의 수치 언급 출처

환각 인용은 특정 분야에 국한되지 않고 광범위하게 나타나지만, AI 도구 도입이 빠른 분야와 AI 지원 집필의 언어적 특징이 강한 원고에서 더 빈번하게 발견된다. 특히 자원이 부족하거나 경험이 적은 소규모 및 신진 연구자 팀에서 이러한 오류가 더 많이 발생하는 경향이 있다.

LLM이 생성하는 가짜 인용은 기존의 학계 불평등을 심화시키는 방향으로 편향되어 있다. 가짜 인용문들은 이미 인지도가 높은 저명한 학자나 남성 학자들에게 인용 공로를 부당하게 할당하는 패턴을 보이며, 이는 과학적 인정 시스템의 공정성을 해칠 수 있다.

근거

환각된 참조 문헌은 이미 저명한 학자와 남성 학자에게 불균형적으로 공로를 할당한다. — Abstract 내 편향성(inequities) 관련 서술

현재의 논문 사전 검토(Preprint moderation) 및 학술지 출판 프로세스는 이러한 대규모 환각 오류를 걸러내는 데 한계를 보이고 있다. 환각 콘텐츠의 확산 속도가 기존의 안전장치와 검증 시스템의 대응 능력을 앞지르고 있어 새로운 대책 마련이 시급하다.

기술

LLM
arXiv
bioRxiv
PubMed Central

활용 사례

학술 논문 자동 검증 시스템
AI 집필 보조 도구의 환각 방지 필터
연구 윤리 교육 자료

언급된 리소스

논문LLM hallucinations in the wild: Large-scale evidence from non-existent citations