미국 원자력 규제 위원회(NRC) 규제 문서 임베딩 데이터셋 공개

작성자가 구축한 특수 도메인 데이터셋의 가치를 높게 평가하며, 인제스션 파이프라인과 청킹 전략에 대해 관심을 보이고 있다.

• 제공된 Parquet 파일을 로드하여 ChromaDB나 Pinecone에 삽입하면 즉시 원자력 특화 RAG 시스템을 구축할 수 있다.
• 복잡한 법률/규제 문서 처리 시 text-embedding-3-small 모델을 활용하면 비용 효율적인 임베딩이 가능하다.

Gap Analysis

— 현재의 상태와 목표 상태 사이의 차이를 식별하고 분석하는 과정이다. 이 프로젝트에서는 원자력 규제 기준과 실제 운영 라이선스 신청서 간의 불일치를 찾아내어 보완이 필요한 부분을 파악하는 데 사용된다.

Vector Similarity

— 텍스트를 수치 벡터로 변환한 후 두 벡터 사이의 거리나 각도를 측정하여 의미적 유사성을 계산하는 방식이다. 과거의 규제 요청 사례와 현재 문서를 비교하여 유사한 질문이 발생할 가능성을 예측하는 핵심 메커니즘이다.

Parquet

— 대용량 데이터를 효율적으로 저장하고 처리하기 위해 설계된 오픈소스 컬럼 지향 데이터 파일 형식이다. 임베딩된 벡터 데이터를 압축하여 저장하고 빠르게 로드할 수 있어 ML 워크플로에서 널리 사용된다.