Flask·Ollama·ChromaDB로 만든 로컬 PDF 기반 문서 질의응답 앱 구현 후기

원문에는 댓글 내용이 포함되어 있지 않아 실제 커뮤니티 반응을 직접 인용할 수는 없다. 게시물의 간결한 스택 설명과 오프라인 테스트 결과는 실무자들에게 유용한 실전 사례로 받아들여질 가능성이 높다. 구체적 벤치마크나 코드 스니펫 부재로 인해 재현을 원하는 독자들은 추가 질문을 할 가능성이 있다.

• 문서를 청크화할 때 문장 경계가 잘리는 것을 방지하기 위해 오버랩을 적용해야 문맥 손실을 줄일 수 있다. 오버랩을 통해 청크 간 의미 연결을 유지하고 검색된 청크들이 문맥을 온전하게 제공하도록 설계해야 한다. 또한 벡터 저장소는 디스크 영속화 옵션을 사용해 재시작 시 인덱스를 재구성할 필요를 줄이면 개발·운영 편의성이 올라간다.
• 프롬프트에 검색된 컨텍스트만 사용하라는 명시적 지시와 문서에 근거가 없을 때 '모른다'고 답하도록 요구하는 문구를 넣으면 모델 환각을 억제하는 데 도움이 된다. 이러한 프롬프트 기반 제어는 모델의 출력 신뢰도를 높이지만, 여전히 검색 단계의 누락이 있으면 올바른 답을 얻지 못할 수 있으므로 검색 품질을 함께 개선해야 한다. 로컬 환경에서 Ollama 같은 추론 엔진과 임베딩을 함께 돌릴 경우 리소스 사용을 모니터링해 GPU/CPU 및 메모리 병목을 관리해야 한다.

Embedding

— 텍스트 조각을 고정 길이 벡터로 변환하는 기법으로, 문장 의미를 수치화해 유사도 검색의 입력으로 사용된다. 문서 질의응답에서는 문서의 각 청크를 임베딩해 벡터 데이터베이스에 저장한 뒤 질문 임베딩과 거리 기반 검색을 수행한다. 임베딩 품질이 검색 정확도와 직접 연결되어 있어 모델·토크나이저·차원 수 선택이 결과에 영향을 미친다.

Vector DB

— 임베딩 벡터를 저장하고 유사도 검색을 제공하는 저장소로, 근접 이웃 검색을 통해 관련 문서 조각을 찾아준다. ChromaDB 같은 구현체는 인메모리 또는 디스크 기반 영속화 옵션을 제공해 서비스 재시작 시에도 벡터를 유지할 수 있다. 검색 결과의 정렬·거리 메트릭·인덱싱 전략이 문서 기반 응답의 정확도에 영향을 준다.

Retrieval-Augmented Generation

— 모델의 내부 지식 대신 외부에서 검색한 문서 조각을 컨텍스트로 주입해 질문에 답하게 하는 방식으로, 검색 단계에서 관련 문서를 찾아 프롬프트에 포함시킨 뒤 모델이 해당 컨텍스트만 사용해 응답하도록 유도한다. 이 방식은 문서 기반 정확도를 높이고 모델 환각을 줄이는 데 사용된다. 검색 품질과 프롬프트 설계가 결과 신뢰성에 결정적인 영향을 미친다.

Document Chunking

— 긴 문서를 토큰·문장 단위로 겹치게 잘라 컨텍스트 윈도우 크기에 맞춰 분할하는 과정으로, 문장 절단을 피하기 위해 오버랩을 사용하고 각 청크를 독립된 단위로 임베딩한다. 적절한 청크 크기와 오버랩 비율은 검색 정확도 및 응답의 일관성에 영향을 준다. 청크 경계가 문장 중간에 걸리면 의미 손실이 발생하기 쉽기 때문에 설계 시 유의해야 한다.