2,000만 건 이상의 인도 판례 데이터셋 및 법률 NLP를 위한 인용 그래프 구축 사례

실용적 조언

법률 도메인 RAG 구축 시 판례 인용 관계를 Ground Truth로 활용하여 검색 모델의 성능을 평가할 수 있다.
인도어 모델 학습 시 법률 판결문의 이중 언어 쌍을 활용하여 격식 있는 문체 학습 데이터를 보강할 수 있다.

섹션별 상세

2,000만 건 이상의 인도 판례를 수집하여 법원, 판사, 인용 조항 등 상세 메타데이터를 구조화했다. 데이터셋은 대법원과 25개 고등법원, 14개 재판소의 자료를 포함하며, 각 판례는 Voyage AI의 1024차원 밀집 벡터와 BM25 희소 벡터로 임베딩되어 검색에 최적화되었다. 이는 인도 법률 시스템을 기계 학습이 가능한 형태로 변환한 대규모 사례이다.

인도 법률 역사상 최초로 기계 판독이 가능한 대규모 인용 그래프를 구축했다. 판례 간의 관계를 단순 언급을 넘어 '준수(followed)', '구별(distinguished)', '파기(overruled)' 등으로 분류하여 그래프 신경망(GNN) 연구나 판결 예측 모델에 활용할 수 있게 했다. 90-95%의 인용 추출 정밀도를 확보하여 법률적 영향력 분석의 기초를 마련했다.

정규표현식(Regex), 휴리스틱, LLM 기반 추출 방식을 혼합하여 비구조적 판결문에서 핵심 정보를 추출하는 파이프라인을 설계했다. 판결문 내의 판사, 변호사, 당사자, 법령 섹션 등을 식별하여 법률 특화 개체명 인식(NER) 모델의 학습 데이터로 사용할 수 있는 구조화된 출력을 생성한다. 특히 3,000자에서 50,000자에 이르는 긴 판결문을 처리하는 데 초점을 맞췄다.

인도 지역 언어 모델(LLM) 파인튜닝을 위한 고품질 법률 텍스트 데이터를 제공한다. 대부분의 인도어 말뭉치가 뉴스나 대화체에 치중된 반면, 이 데이터셋은 격식 있고 정밀한 법률 도메인의 이중 언어 쌍을 포함하고 있다. 이를 통해 저자원 언어 환경에서 전문적인 법률 용어를 이해하고 생성하는 모델 개발이 가능해졌다.

용어 해설

법률 자연어 처리(Legal NLP): — 법률 문서의 복잡한 구조와 전문 용어를 분석하고 처리하는 자연어 처리의 하위 분야이다. 판결문, 법령, 계약서 등 고도의 정밀성이 요구되는 텍스트를 다루며, 일반적인 대화형 데이터와는 다른 격식 있는 언어 체계를 가진다.
인용 그래프(Citation Graph): — 문서 간의 인용 관계를 노드와 엣지로 표현한 네트워크 구조이다. 법률 도메인에서는 판례 간의 선례 참조, 파기, 인용 관계를 분석하여 판결의 영향력을 파악하거나 법률 결과 예측 모델의 학습 데이터로 활용된다.
저자원 언어(Low-resource Language): — AI 모델 학습에 필요한 고품질의 텍스트 데이터가 부족한 언어를 의미한다. 인도 지역 언어들이 이에 해당하며, 이러한 언어들을 위한 법률 도메인 특화 데이터셋 구축은 모델의 전문성 향상에 필수적이다.
개체명 인식(NER): — 텍스트에서 인물, 조직, 장소, 시간 등 고유 명사를 추출하여 범주화하는 기술이다. 법률 맥락에서는 판사, 변호사, 법조항, 사건 번호 등 핵심 정보를 구조화하는 데 사용된다.

언급된 도구

Voyage AI추천

1024차원 밀집 벡터 임베딩 생성

BM25추천

희소 벡터 기반 키워드 검색

언급된 리소스

문서Vaquil Search (Dataset Source)