Fırat University Assistant: 로컬 PDF 기반 오프라인 터키어 질의응답 및 문서 검색 시스템

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 프로젝트는 로컬 PDF를 pdfplumber로 추출하고 Turkish-aware 텍스트 정규화를 적용한 뒤 BM25 인덱싱으로 질의에 대한 관련 문서를 빠르게 찾는 오프라인 우선 질의응답 시스템이다. FastAPI를 통해 인덱스 조회와 응답을 제공하며 Jinja2로 결과를 렌더링하는 구조를 사용해 GPU 없이도 실용적 응답 속도를 목표로 했다. 학생 규정 같은 내부 문서를 외부 API 없이 검색해 즉시 답을 제공하는 것을 핵심 목표로 삼았고 구현 코드는 공개된 깃허브 리포지토리에서 확인 가능하다. 제한점으로는 게시물에서 구체적 벤치마크나 청킹·색인 파라미터가 제시되지 않아 성능 비교와 대규모 문서셋에서의 확장성 평가는 추가 검증이 필요하다.

섹션별 상세

작성자는 인터넷 연결이나 외부 API 키 없이 작동하는 오프라인 우선 설계를 채택했다. 시스템은 pdfplumber로 로컬 PDF에서 텍스트를 추출하고 추출된 텍스트에 Turkish-aware 정규화를 적용한 뒤 BM25로 인덱싱해 질의에 대한 연관 문서를 반환한다. 구현 결과는 FastAPI를 통해 HTTP로 조회 가능하며 리포지토리 링크가 공개되어 실제 코드와 구조를 확인할 수 있다. 오프라인 환경과 개인정보 보존 측면에서 문서 기반 질의응답을 빠르게 서비스할 수 있는 실용적 선택이다.

터키어 특화 정규화는 검색 정확도에 직접적인 영향을 미치는 요소로 다루어졌다. 구체적으로 저자는 터키어의 굴절과 철자 변형을 고려해 토큰을 표준화한 뒤 BM25 점수화에 입력했다고 기술했다. 이 처리는 동일 개념이 다양한 표기 형태로 존재하는 문서에서 관련 문서를 누락할 위험을 줄이는 효과를 기대하게 만든다. 언어별 정규화가 부실하면 키워드 기반 검색에서 중요한 정보가 매칭되지 않는 문제가 반복되기 때문이다.

기술 스택은 Python 3.10+, FastAPI, pdfplumber, Jinja2로 구성되어 서버·파이프라인·템플릿 렌더링이 분리된 구조로 설계되었다. 게시물은 무거운 GPU 의존 없이 빠른 인덱싱과 검색을 목표로 했으며 이 목표는 도구 선택과 오프라인 설계로 현실화되었다고 주장했다. 구현 세부사항과 코드 구조 검토는 깃허브 리포지토리에서 확인할 수 있으므로 재현과 확장이 가능한 형태로 배포된 점이 실무적 장점으로 작용한다.

저장소 헤더 스크린샷으로 리포지토리 이름과 간단한 설명, 사용된 주요 라이브러리(BM25, FastAPI, pdfplumber)가 보인다. — Screenshot이미지에는 프로젝트의 이름과 'offline Turkish question-answering' 같은 요약 문구가 선명하게 표시되어 있어 글의 핵심 주제를 빠르게 확인할 수 있다. 또한 화면에 표시된 기술 스택 요소들이 게시글 본문과 일치하므로 구현과 배포 방식에 대한 근거로 활용 가능하다. 이 스크린샷은 글에서 언급한 도구와 목적을 확인하는 시각적 근거를 제공하므로 토론의 출발점으로 유용하다.

실사용 사례로서 작성자는 학생들이 장문의 규정 문서를 일일이 읽지 않고도 '합격 점수'나 '출석 규정' 같은 구체 정보를 즉시 찾도록 설계했다고 설명했다. 입력으로 로컬 PDF 문서를 사용하고 출력으로 관련 문서 범위를 반환하는 흐름은 문서 검색용 챗봇 또는 Q&A 도우미에 바로 적용 가능하다. 이 접근은 개인 정보와 내부 문서의 외부 전송을 피하면서도 사용자 질의에 대한 응답 시간을 줄이는 트레이드오프를 제공한다.

용어 해설

BM25 점수화(BM25): — BM25는 문서와 질의의 단어 빈도를 기반으로 가중치를 계산해 관련도를 점수화하는 전통적 정보검색 기법이다. 내부적으로 각 문서의 역색인과 단어 빈도수, 역문헌빈도(IDF)를 조합해 문서 점수를 산출하며 빠른 키워드 검색에 적합하다. 이 프로젝트에서는 로컬 PDF에서 텍스트를 추출한 뒤 BM25 인덱스로 질의에 대한 연관 문서를 빠르게 조회하는 데 사용되었다.
역색인(Inverted Index): — 역색인은 단어를 키로 하고 그 단어가 등장하는 문서 목록을 값으로 저장하는 자료구조로서 대용량 문서에서 빠른 검색을 가능하게 한다. 색인을 구축할 때 각 토큰의 문서 빈도와 위치 정보를 함께 저장하면 BM25 같은 점수화 알고리즘의 입력으로 활용할 수 있다. 이 프로젝트는 로컬 PDF를 파싱해 생성한 텍스트에서 역색인을 구성해 질의 응답 속도를 높였다.
텍스트 정규화(Text Normalization): — 텍스트 정규화는 언어별 형태소·철자·대소문자·특수문자 처리로 일관된 토큰화를 확보하는 전처리 단계이다. 터키어처럼 굴절·철자 변형이 많은 언어에서는 어간 추출(stemming)이나 표준화 규칙을 적용해 동일 개념의 표현을 단일 토큰으로 매핑해야 검색 정확도가 개선된다. 게시물에서는 'Turkish-aware normalization'을 적용해 터키어 문서 검색에서 관련도 유실을 줄였다고 언급되었다.

언급된 도구

FastAPI추천

경량 HTTP API 서버 구현

pdfplumber추천

로컬 PDF에서 텍스트 추출

Jinja2중립

결과 템플릿 렌더링

언급된 리소스

GitHubFiratUniversityChatbot GitHub repository