법률 RAG 시스템에서 전문가 주석 레이어의 중요성

커뮤니티 반응

작성자의 실무적 접근 방식에 대해 긍정적인 반응이며, 특히 전문가의 개입을 통한 지식 보정 메커니즘이 RAG의 한계를 극복하는 현실적인 대안이라는 점에 공감하고 있다.

주요 논점

01찬성다수

모델 성능 개선보다 전문가의 주석 레이어를 통한 지식 주입이 실무적으로 훨씬 효과적이다.

합의점 vs 논쟁점

합의점

도메인 전문가의 해석이 중요한 분야에서는 단순 검색 이상의 지식 보정 장치가 필요하다.
주석 시스템은 데이터 재처리 비용을 획기적으로 줄여주는 실용적인 도구이다.

실용적 조언

RAG 구축 시 전문가가 텍스트를 선택하고 의견을 남길 수 있는 주석 UI를 반드시 포함하라.
프롬프트에서 주석(Annotation)을 본문보다 우선하는 'Authoritative Expert Notes'로 정의하라.
주석 데이터는 PostgreSQL 같은 관계형 DB에 저장하고 쿼리 시 컨텍스트에 동적으로 병합하라.

섹션별 상세

작성자는 PostgreSQL을 활용하여 문서 ID, 페이지 번호, 선택 텍스트와 연결된 주석 저장 시스템을 구축했다. 쿼리가 입력되면 벡터 검색으로 추출된 특정 문서의 주석뿐만 아니라 전체 문서의 모든 주석을 함께 가져와 LLM 컨텍스트에 주입한다. 이를 통해 검색 결과에 포함되지 않은 문서의 중요한 경고나 업데이트 사항도 모델이 인지할 수 있도록 설계했다. 캐시를 60초마다 갱신하여 전문가가 새로 작성한 주석이 즉각적으로 시스템에 반영되는 구조를 갖췄다.

프롬프트 엔지니어링을 통해 LLM이 주석을 문서 본문보다 우선시하는 권위 있는 전문가의 노트로 취급하도록 설정했다. 법률 지식은 시간이 지남에 따라 판례가 변경되거나 해석이 달라지는 특성이 있어 문서 자체를 재학습시키거나 재청킹하는 대신 주석 하나로 지식을 업데이트한다. 실제 사례에서 2022년 판결문이 2024년 결정에 의해 뒤집힌 경우 전문가가 주석을 남기면 모델은 즉시 최신 정보를 바탕으로 답변한다. 이는 엔지니어링 작업 없이도 도메인 전문가가 직접 AI의 지식 베이스를 교정할 수 있게 한다.

문서화되지 않은 조직 내부의 암묵적 지식을 캡처하는 수단으로 주석 레이어가 기능한다. 특정 조항에 대해 로펌이 표준 해석보다 보수적인 입장을 취하거나 특정 고객사만의 요구사항이 있는 경우 이를 시스템에 녹여낼 수 있다. 시니어 변호사들이 은퇴하거나 퇴사할 때 소실될 수 있는 지식을 디지털화하여 보존하는 효과를 거뒀다. 별도의 교육 없이도 변호사들이 기존 PDF 주석 작성 방식과 유사하게 사용하여 첫 주 만에 실무에 안착했다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 프롬프트에 주입하는 기술이다. 모델을 재학습시키지 않고도 최신 정보나 특정 도메인의 내부 데이터를 활용할 수 있게 하여 답변의 정확도와 신뢰성을 높인다.
벡터 검색(Vector Search): — 텍스트를 수치 벡터로 변환하여 의미적 유사성을 기반으로 정보를 찾는 방식이다. 키워드가 일치하지 않더라도 문맥상 유사한 문서를 찾아낼 수 있어 RAG 시스템의 핵심 검색 메커니즘으로 사용된다.
컨텍스트 주입(Context Injection): — 검색된 문서나 추가 정보를 LLM의 입력 프롬프트에 포함시키는 과정이다. 모델이 주어진 정보를 바탕으로 답변을 생성하도록 유도하며, 이 글에서는 전문가의 주석을 주입하여 모델의 판단을 보정하는 용도로 활용된다.

언급된 도구

PostgreSQL추천

문서 ID 및 페이지 번호와 연결된 주석 데이터를 저장하고 관리하는 데이터베이스

LangChain중립

RAG 파이프라인 및 LLM 애플리케이션 구축을 위한 프레임워크