MarCognity-AI: LLM 기반 시스템을 위한 구조적 분석 및 소스 근거 검증 모듈형 프레임워크

섹션별 상세

LLM이 사실적 진실보다 언어적 확률을 최적화한다는 문제에서 출발했다. MarCognity-AI는 응답 내 주장별 불확실성을 관찰 가능하게 만들기 위해 구조적 검증 레이어를 도입했다. 이를 통해 모델의 '인식적 실패'를 단순한 오류가 아닌 연구 가능한 데이터로 변환한다.

프레임워크는 문제 분류, 학술적 프롬프팅, 비동기 검색 등 독립적인 모듈로 구성된다. 각 모듈은 입력된 질문을 분석하고 arXiv나 OpenAlex 같은 외부 소스에서 증거를 추출하여 FAISS 메모리에 저장한다. 이 과정은 생성된 답변이 실제 문헌에 기반하고 있는지 문장 단위로 대조하는 역할을 한다.

Skeptical Agent 모듈은 생성된 주장을 하나씩 검증하며 논리적 점수를 부여한다. 모델이 답변의 명확성은 평가할 수 있어도 지식의 정당성을 스스로 판단하기 어렵다는 구조적 한계를 노출시킨다. 이는 언어적 일관성과 인식적 자각 사이의 붕괴 현상을 연구하는 핵심 도구가 된다.

의학, 물리학, 법률 등 8개 도메인에서 72개의 과업으로 구성된 크로스 도메인 벤치마크를 수행했다. Llama 4 기반의 기본 모델과 MarCognity-AI 아키텍처를 비교하여 환각 노출률과 증거 지원율을 측정했다. 결과적으로 텍스트 기반 검증 시스템이 직면한 '인식적 경계'의 존재를 정량적으로 확인했다.

용어 해설

인식적 불확실성(Epistemic Uncertainty): — 지식의 부재나 정보의 불완전함으로 인해 발생하는 불확실성을 의미한다. LLM이 문장 구조는 완벽하게 생성하면서도 실제 사실 관계를 모르는 상태에서 답변할 때 이 불확실성이 높아지며, 이를 식별하는 것이 시스템의 핵심 목표이다.
메타인지(Metacognition): — 자신의 인지 과정에 대해 생각하고 스스로의 지식 상태를 모니터링하는 능력이다. AI 분야에서는 모델이 자신이 무엇을 알고 무엇을 모르는지 판단하는 능력을 의미하며, MarCognity-AI는 이 과정을 구조적 레이어로 구현한다.
소스 근거 설정(Source Grounding): — 생성된 텍스트의 모든 주장을 신뢰할 수 있는 외부 소스(논문, 데이터베이스 등)와 연결하여 사실성을 확보하는 기법이다. 단순한 답변 생성을 넘어 각 문장이 어떤 문헌에서 유도되었는지 증거를 제시함으로써 환각 현상을 억제한다.
환각(Hallucination): — LLM이 학습 데이터에 없는 사실을 마치 진실인 것처럼 그럴듯하게 지어내어 출력하는 현상이다. MarCognity-AI는 이러한 환각을 해결하기보다, 환각이 발생하는 '실패 모드'를 구조적으로 노출하고 기록하는 데 집중한다.

기술

Llama 4
FAISS
SPECTER
SciBERT
Groq API
Apache 2.0

활용 사례

과학적 질문 답변 시스템의 근거 검증
LLM 응답의 문장 단위 사실 확인
도메인 특화 에피스테믹 벤치마크 수행

언급된 리소스

문서MarCognity-AI Zenodo Archive

DemoMarCognity Demo Notebook