LangGraph 기반 9-노드 StateGraph로 구축한 법률·금융 문서 파서 아키텍처

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 법률·금융 문서 파싱용으로 LangChain 기반의 정적 파이프라인을 LangGraph 기반의 9-Node StateGraph로 교체했고 이로 인해 엣지케이스 처리 흐름이 변화했다고 보고했다. 시스템은 Jina v3의 256-dim 임베딩을 Pinecone에 저장하고 검색 신뢰도가 45% 미만이면 그래프를 정지시켜 사용자에게 웹 검색 허용 여부를 묻는 방식으로 낮은 신뢰도 결과가 Generator로 전달되는 것을 차단한다. 추가적으로 생성 응답을 원시 청크와 대조하는 Hallucination Guard, Aadhaar/PAN/은행 계좌를 정규식으로 마스킹하는 PII Shield, pybreaker로 3회 실패 시 30초 오픈하는 회로 차단, MongoDB(Motor Async)·Supabase·Redis(1시간 캐시)를 도입해 운영 안정성과 성능을 확보했다. 이 구성은 신뢰도 기반의 사용자 승인 외부 검색으로 hallucination 위험을 줄이는 대신 지연과 외부 API 의존이라는 트레이드오프를 수반한다.

실용적 조언

검색 결과의 신뢰도 기반 게이트를 도입할 때는 임계값을 명확히 정의하고 시스템 레이턴시와 사용자 흐름을 테스트해야 한다. 원문 사례처럼 45% 미만에서 그래프를 정지시키고 사용자 승인으로 외부 검색을 수행하면 hallucination을 줄일 수 있으나 승인 과정에서 지연과 추가 API 의존이 발생한다. 따라서 임계값은 실제 워크로드의 재현 실험으로 결정하고 사용자 경험을 고려한 폴백을 준비해야 한다.
민감 식별자 차단은 모델 입력 전 정규식 기반 마스킹으로 처리하면 추가적인 ML 비용 없이 개인정보 노출 위험을 낮출 수 있다. 작성자는 Aadhaar/PAN/은행 계좌 패턴을 사전에 탐지해 마스킹한다고 밝혔으며 이 방식은 규칙 확장으로 여러 국가의 포맷을 추가할 수 있다. 정규식의 허용오차와 오탐·미탐을 모니터링하는 로그를 두어 운영 중 개선이 가능하도록 해야 한다.
API 안정성을 위해 회로 차단기와 캐싱, HITL 큐를 결합하면 외부 의존 문제를 완화할 수 있다. pybreaker 같은 라이브러리로 3회 실패 시 30초 오픈 같은 정책을 적용하면 급격한 장애 확산을 막을 수 있으며 Redis로 1시간 캐시를 두면 동일 질의에 대한 외부 호출을 줄일 수 있다. 또한 MongoDB의 슬라이딩 윈도우와 HITL 승인 큐는 낮은 신뢰도 사례를 수집·검토해 모델 개선 데이터로 활용할 수 있는 운영 루프를 제공한다.

섹션별 상세

작성자는 정적 LangChain 파이프라인을 폐기하고 LangGraph로 구현한 9-Node StateGraph로 전환해 엣지케이스 처리 흐름을 변경했다고 보고했다. 이 그래프는 분류기, 검색, 생성, 검증 등 노드 간 상태 전이로 입력을 라우팅하며 필요 시 실행을 정지하거나 플래그를 토글해 다른 노드로 이동시킨다. 9-Node 구성이라는 구체적 설계 요소가 제시되어 있어 기존 정적 파이프라인보다 분기와 재시도가 유연하게 이뤄지는 점이 근거로 제시됐다. 이런 구조는 복잡한 법률·금융 문서의 다양한 의도에 대해 핸들링 경로를 명확히 분리해 엣지케이스 대응을 용이하게 한다.

검색과 생성 연결에는 ReAct 유사 패턴이 적용되어 Pinecone에서 반환된 유사도 신뢰도를 기준으로 후속 동작을 결정한다. 원문은 Jina v3의 256-dim 임베딩을 Pinecone에 저장하고 검색 후 신뢰도 점수가 45% 미만이면 그래프를 정지시키고 사용자에게 웹 검색 허용 여부를 묻는 플로우로 이어진다고 명시했다. 이 방식은 낮은 신뢰도 임베딩 결과를 그대로 Generator에 전달해 발생하는 hallucination을 막는 실전적 근거로 제시되며 수치(256-dim, 45% 임계값)가 구체적 증거로 제시되어 있다. 결과적으로 신뢰도가 낮은 검색 결과는 사용자 승인 기반의 외부 검색으로 전환되어 비검증 컨텍스트로 인한 생성 오류를 줄이는 트레이드오프가 발생한다.

대화 맥락 인식은 분류기가 채팅 히스토리의 컨텍스트 윈도우를 읽어 is_web_search 플래그를 토글하는 방식으로 구현되어 있다. 사용자가 웹 검색을 허용하면 플래그가 설정되고 해당 경로로 즉시 라우팅되어 Tavily API 노드로 연계되며 이때 기존 대화 컨텍스트가 유지된 채로 외부 검색 결과를 통합한다는 동작 흐름이 기술되었다. 이러한 플래그 기반 라우팅은 사용자 승인 여부를 기준으로 내부 검증 경로와 외부 검색 경로를 명확히 분리함으로써 컨텍스트 연속성을 보장하는 근거가 된다. 이로 인해 사용자가 의도적으로 외부 정보를 허용할 때만 외부 의존이 발생하도록 제어가 가능해졌다.

출력 직전에는 Hallucination Guard 노드가 생성된 답변을 원시 청크와 교차 검증하는 추가 검증 단계가 들어간다. 구체적 작동은 생성기가 반환한 텍스트를 원시 문서 청크와 비교하거나 참조 가능한 근거가 있는지 재질문을 통해 확인하는 형태로 설명되어 있으며 이 과정은 모델이 근거 없는 문장을 내보내는 것을 추가로 방지한다. 원문은 이 보조 검증 절차를 통해 근거 기반 응답의 신뢰도를 높였다고 보고했고 이는 검색 신뢰도 게이트와 결합되어 다중 단계의 예방책을 형성한다. 최종적으로 이 노드는 응답의 근거 유무를 확인해 불일치 시 사용자 확인 또는 재검색을 유도한다.

엔지니어링 관련 실무적 설계로 PII Shield, Circuit Breaker, 스토리지 구성 및 캐싱 전략이 병행되어 있다. PII Shield는 Aadhaar/PAN/은행 계좌를 정규식으로 사전 마스킹해 LLM으로 민감 정보가 전달되는 것을 차단하며 이는 규칙 기반이므로 추가적인 ML 오버헤드가 없다는 점이 강조되었다. API 호출은 pybreaker로 감싸 3회 실패 시 30초 동안 오픈 상태로 전환하고 즉각적인 graceful degradation 페일백을 제공하며 스토리지로는 MongoDB(Motor Async)로 슬라이딩 윈도우 채팅 히스토리와 HITL 승인 큐를 운영하고 Supabase를 파일 저장에, Redis를 1시간 응답 캐시에 사용한다고 구체적 구현 요소가 제시되었다. 이러한 조합은 민감도 관리·가용성·응답 성능을 동시에 고려한 설계적 판단을 반영한다.

용어 해설

상태 기반 그래프 파이프라인(StateGraph): — StateGraph는 파이프라인을 정적 순서가 아닌 노드 간 상태 전이로 구성하는 방식으로 입력 흐름을 상태에 따라 분기하고 재시도·정지·재라우팅을 동적으로 수행해 엣지케이스 대응을 개선한다.
ReAct 패턴(ReAct): — ReAct는 LLM의 Reasoning과 Action을 연계해 모델 출력에서 의사결정과 외부 행동(검색, 호출)을 분리하는 패턴으로, 모델 결과에 따라 외부 검색이나 추가 검증을 즉시 수행하도록 워크플로를 연결한다.
Jina MRL 256차원 임베딩(MRL 256-dim): — 문맥에서 MRL 256-dim은 Jina v3에서 사용하는 임베딩 구성으로 256차원 벡터를 생성해 Pinecone 같은 벡터 DB에 저장하고 유사도 검색을 수행하는 설정을 가리킨다.
Human-in-the-Loop: — Human-in-the-Loop는 자동화된 모델 결정 전에 사람의 승인·검토를 삽입하는 방식으로, 특히 낮은 신뢰도 검색 결과나 민감 문서 처리에서 모델 출력의 정확성과 규정 준수를 확보하는 데 사용된다.
PII 마스킹(PII masking): — PII 마스킹은 Aadhaar, PAN, 은행 계좌 등 민감 식별자를 정규식 등 규칙 기반으로 입력 단계에서 제거하거나 대체해 모델에 민감 정보가 전달되지 않도록 하는 사전 처리 방식이다.

언급된 도구

LangGraph추천

상태 기반 그래프 파이프라인 구축을 위한 오케스트레이션

Pinecone추천

벡터 검색을 통한 유사도 기반 문서 검색 저장소

Jina v3 MRL 256-dim추천

임베딩 생성 엔진으로 256차원 벡터를 생성해 Pinecone에 저장

Tavily API추천

사용자 승인 기반의 외부 웹 검색 엔진으로 라우팅되는 웹 검색 노드

MongoDB (Motor Async)추천

슬라이딩 윈도우 채팅 히스토리와 Human-in-the-Loop 승인 큐 저장

Supabase추천

파일 저장소로 사용되는 외부 스토리지

Redis추천

응답 캐싱을 위한 인메모리 캐시(1시간 TTL 사례 언급)

pybreaker추천

API 호출에 회로 차단 패턴을 적용해 실패 시 페일백을 제공