AgriIR: 도메인 특화 지식 검색을 위한 확장 가능한 프레임워크

자원이 제한된 환경에서도 대규모 모델 없이 정확한 전문 지식을 제공할 수 있는 RAG 프레임워크를 제안한다. 특히 인도 농업 분야에 특화되어 저사양 하드웨어에서 구동 가능하면서도 신뢰할 수 있는 출처 인용 기능을 갖추어 실질적인 농민 지원이 가능하다.

기존의 대형 언어 모델(LLM)은 농업과 같은 전문 분야에서 환각 현상을 일으키거나 방대한 연산 자원을 요구하는 한계가 있다. AgriIR은 모델의 크기를 키우는 대신 '설계의 지능'을 높이는 방식을 택했다. 먼저 입력된 질문을 Embedding 공간에서 더 명확한 벡터로 변환하기 위해 낮은 Temperature로 쿼리를 정제하고, 이를 다시 여러 관점의 하위 질문으로 분해하여 검색 범위를 넓힌다.

검색 단계에서는 FAISS 기반의 벡터 DB와 실시간 웹 검색을 병렬로 수행하여 최신성을 확보한다. 이때 각 문장이 생성된 후에는 SentenceTransformer를 이용해 원문 소스와의 코사인 유사도를 계산한다. 유사도가 0.75를 넘는 경우에만 출처 태그를 붙임으로써, 모델이 가짜 출처를 지어내는 문제를 원천적으로 차단한다.

결과적으로 1B 수준의 가벼운 모델도 이러한 단계적 제어와 외부 지식 결합을 통해 70B 이상의 거대 모델과 대등한 수준의 전문 답변을 생성할 수 있게 된다. 이는 고가의 GPU 인프라가 부족한 개발도상국의 농촌 환경에서도 고성능 AI 서비스를 구현할 수 있음을 의미한다.

AgriIR은 6단계의 선언적 파이프라인으로 구성된다. 첫째, Query Refinement 단계에서 1B 모델이 입력 쿼리를 구조화한다. 둘째, Sub-Query Decomposition 단계에서 질문을 3-5개의 세부 관점으로 나눈다. 셋째, Parallel Multi-Source Retrieval 단계에서 FAISS 인덱스와 DuckDuckGo API를 통해 데이터를 수집한다. 넷째, Domain-Agent Enhancement 단계에서 전문 에이전트가 키워드 확장을 수행한다. 다섯째, Answer Synthesis 단계에서 수집된 정보를 바탕으로 800-1200단어 분량의 답변을 생성한다. 마지막으로 Deterministic Citation Insertion 단계에서 문장별 유사도 검증을 거쳐 출처를 표기한다.

인용 삽입 과정에서는 생성된 답변 문장 s와 소스 문장 d에 대해 코사인 유사도 CosineSim(E(s), E(d))를 계산한다. 여기서 E는 SentenceTransformer 인코더이다. 계산된 값이 임계값 0.75를 초과하면 해당 소스의 ID를 문장 뒤에 삽입하며, 이를 통해 사용자는 답변의 근거를 즉시 확인할 수 있다.

191개의 농업 관련 쿼리에 대해 30명의 전문가가 평가한 결과, AgriIR 기반의 Gemma3:27B 모델은 복합 점수 0.820을 기록하여 ChatGPT-4o(0.840)와 통계적으로 대등한 성능을 보였다. 특히 120B 파라미터의 GPT-OSS 모델(0.705)보다 훨씬 적은 자원으로도 우수한 결과를 냈음을 확인했다.

인용 정확도 측면에서 AgriIR 변체들은 73-84%의 완벽한 인용 성능을 보여주었으며, 이는 인용 기능을 지원하지 않는 일반 상용 모델들과 차별화되는 지점이다. 또한 병렬 처리 도입을 통해 4개의 하위 쿼리 처리 시간을 기존 180초에서 50초로 약 3.6배 단축하여 실무적인 응답 속도를 확보했다.

AgriIR 아키텍처는 모델 독립적인 선언적 구성을 특징으로 한다. 쿼리 정제와 분해에는 Ollama를 통해 실행되는 1B 모델을 사용하고, 복잡한 정책 질문의 경우에만 더 큰 모델로 동적 전환하는 전략을 취한다. 검색 엔진은 FAISS를 사용한 벡터 검색과 DuckDuckGo를 통한 실시간 웹 검색을 결합하며, BeautifulSoup과 PDF 추출 도구를 통해 비정형 데이터를 정형화한다.

데이터 큐레이션 시스템은 MD5 해싱을 이용한 중복 제거와 4단계 검증(URL 정규화, 해시 비교 등)을 거쳐 데이터 무결성을 유지한다. 또한 MTEB 리더보드 기반의 적응형 임베딩 모델 선택 기능을 갖추어 하드웨어 가용 상태에 따라 최적의 성능을 낼 수 있도록 설계되었다.

도메인 에이전트의 키워드 목록과 설정 파일을 주기적으로 업데이트해야 하며, 지식이 오래되거나 부족할 경우 검색 품질이 저하될 수 있다. 또한 인용 삽입 시 문장 단위 유사도에만 의존하므로 문맥적 의미가 복잡하게 얽힌 경우 인용 누락이 발생할 가능성이 존재한다.