자동 추론 체크를 활용한 리라이팅 챗봇 참조 구현

섹션별 상세

자동 추론 체크는 대형 언어 모델의 예측 방식과 달리 논리적 연역법을 사용하여 진술의 정확성을 수학적으로 증명하며, 이를 통해 답변의 신뢰도와 투명성을 높인다.

챗봇 아키텍처는 사용자의 질문에 대해 LLM이 답변을 생성하면 Amazon Bedrock Guardrails의 ApplyGuardrail API를 호출하여 자동 추론 검증을 수행하는 구조로 설계되었다.

검증 결과가 VALID가 아닐 경우 시스템은 발견된 문제의 우선순위를 정하고 LLM에게 답변 재작성 또는 사용자 대상 확인 질문 생성을 요청하는 반복 루프에 진입한다.

백엔드 핵심 컴포넌트인 ThreadProcessor는 상태 머신 패턴을 사용하여 초기 생성, 검증, 결과 처리, 재작성 루프 등의 단계를 관리하며 대화의 흐름을 제어한다.

모든 검증 과정과 결과는 AuditLogger를 통해 구조화된 JSON 로그로 기록되어, 시스템이 최종 답변에 도달하기까지의 논리적 근거와 증명을 사후에 검토할 수 있는 감사 추적 기능을 제공한다.

자동 추론(Automated Reasoning): — 수학적 논리와 연역법을 사용하여 진술의 참/거짓을 판별하는 기술이다. 대규모 언어 모델의 확률적 예측과 달리 명확한 논리적 근거를 바탕으로 답변의 정확성을 보장하며, 규제 준수 여부를 확인하는 데 핵심적인 역할을 한다.
환각 현상(Hallucination): — 인공지능 모델이 학습 데이터에 없는 내용을 사실처럼 꾸며내거나 논리적 오류가 있는 답변을 생성하는 현상이다. 자동 추론 체크는 이러한 환각을 탐지하고 수정 피드백을 제공하여 시스템의 신뢰도를 높인다.
상태 머신 패턴(State Machine Pattern): — 객체의 상태를 정의하고 상태 간의 전이를 제어하는 소프트웨어 디자인 패턴이다. 챗봇의 답변 생성, 검증, 사용자 질문 대기, 재작성 등 복잡한 워크플로우를 체계적으로 관리하고 유지보수성을 높이는 데 사용된다.
감사 추적(Audit Trail): — 시스템 내에서 발생한 일련의 활동을 기록하여 추적할 수 있게 만든 경로이다. AI가 특정 답변을 내놓기까지 거친 검증 단계와 수정 이력을 기록함으로써 결과에 대한 설명 가능성과 투명성을 제공한다.