미국 원자력 규제 위원회(NRC) 규제 문서 임베딩 데이터셋 공개

실용적 조언

제공된 Parquet 파일을 로드하여 ChromaDB나 Pinecone에 삽입하면 즉시 원자력 특화 RAG 시스템을 구축할 수 있다.
복잡한 법률/규제 문서 처리 시 text-embedding-3-small 모델을 활용하면 비용 효율적인 임베딩이 가능하다.

섹션별 상세

작성자는 NRC의 표준 검토 계획(SRP) 및 연방 규정집(10 CFR) 등 방대한 규제 문서를 37,734개의 청크로 분할했다. OpenAI의 text-embedding-3-small 모델을 사용하여 각 청크를 벡터화했으며, 이를 통해 의미론적 검색이 가능한 기반을 마련했다. 공유된 데이터셋은 Parquet 형식으로 제공되어 ChromaDB나 Pinecone 같은 벡터 데이터베이스에 즉시 로드할 수 있다.

RAG 아키텍처를 활용하여 갭 분석, FSAR(최종 안전성 분석 보고서) 강점 점수화, RAI(추가 정보 요청) 예측 기능을 구현했다. 과거 NRC의 요청 사례와 현재 신청서 간의 벡터 유사도를 계산하여 규제 기관이 어떤 질문을 던질지 미리 예측하는 처리 과정을 거친다. 이는 복잡한 인허가 절차에서 발생할 수 있는 누락을 방지하고 문서의 품질을 객관적으로 평가하는 데 기여한다.

공개된 데이터셋은 NUREG-0800 및 10 CFR Parts 20, 50, 51 등 원자력 인허가 신청에 필수적인 모든 규제 코퍼스를 포함한다. 작성자는 이러한 데이터셋이 공공에 공개된 전례가 없음을 언급하며 데이터의 희소성을 강조했다. 깃허브를 통해 인제스션 파이프라인과 청킹 전략이 포함된 전체 코드베이스를 함께 제공하여 재현 가능성을 높였다.

용어 해설

갭 분석(Gap Analysis): — 현재의 상태와 목표 상태 사이의 차이를 식별하고 분석하는 과정이다. 이 프로젝트에서는 원자력 규제 기준과 실제 운영 라이선스 신청서 간의 불일치를 찾아내어 보완이 필요한 부분을 파악하는 데 사용된다.
벡터 유사도(Vector Similarity): — 텍스트를 수치 벡터로 변환한 후 두 벡터 사이의 거리나 각도를 측정하여 의미적 유사성을 계산하는 방식이다. 과거의 규제 요청 사례와 현재 문서를 비교하여 유사한 질문이 발생할 가능성을 예측하는 핵심 메커니즘이다.
파티션 기반 컬럼 지향 데이터 포맷(Parquet): — 대용량 데이터를 효율적으로 저장하고 처리하기 위해 설계된 오픈소스 컬럼 지향 데이터 파일 형식이다. 임베딩된 벡터 데이터를 압축하여 저장하고 빠르게 로드할 수 있어 ML 워크플로에서 널리 사용된다.

언급된 도구

text-embedding-3-small추천

NRC 규제 문서의 벡터 임베딩 생성

ChromaDB중립

임베딩된 벡터 데이터 저장 및 검색

Pinecone중립

확장 가능한 벡터 데이터베이스 관리

언급된 리소스

GitHubNRC Regulatory Embeddings Dataset

GitHubNRC Licensing RAG Codebase