LangChain과 Llama 3.1을 활용한 동적 라우팅 기반 연구 요약 엔진 구축

실용적 조언

복잡한 작업을 수행할 때 LLM에게 바로 답을 요구하기보다, 작업의 성격을 규정하는 페르소나 결정 단계를 선행하면 품질이 개선된다.
BeautifulSoup과 DuckDuckGo API를 조합하여 실시간 웹 데이터를 에이전트의 지식원으로 활용할 수 있다.

섹션별 상세

동적 어시스턴트 라우팅을 통해 질문의 도메인에 최적화된 페르소나를 먼저 설정한다. LLM이 질문을 분석하여 금융 분석가나 여행 가이드 등의 페르소나와 구체적인 지침을 JSON 형태로 출력한다. 이 과정을 통해 생성된 페르소나는 이후 검색 쿼리 생성과 최종 보고서 작성의 품질을 결정짓는 핵심 요소가 된다. 범용적인 답변보다 특정 분야의 전문성이 반영된 고품질 결과물을 얻을 수 있는 구조이다.

json

{ "assistant_type": "Financial analyst assistant", "assistant_instructions": "You are a seasoned finance analyst...", "user_question": "Should I invest in Apple stocks?" }

LLM이 질문의 성격에 따라 동적으로 생성하는 어시스턴트 페르소나 및 지침 구조 예시

전체 파이프라인은 페르소나 선택부터 최종 컴파일까지 7단계의 모듈로 구성된다. Llama 3.1 70B 모델이 페르소나 선택, 쿼리 생성, 요약, 보고서 작성을 담당하며 DuckDuckGo와 BeautifulSoup이 데이터 수집을 수행한다. 각 웹페이지를 독립적으로 요약한 뒤 이를 병합하여 1,200단어 이상의 APA 양식 보고서를 생성한다. 모듈화된 설계를 통해 각 단계의 프롬프트를 독립적으로 최적화할 수 있다.

용어 해설

에이전트형 AI(Agentic AI): — 단순한 텍스트 생성을 넘어 목표를 달성하기 위해 스스로 계획을 세우고 도구를 사용하며 의사결정을 내리는 AI 시스템 아키텍처이다. 이 게시물에서는 연구 보고서 작성을 위해 페르소나 설정부터 검색, 요약까지의 과정을 자율적으로 수행하는 구조로 구현되었다.
퓨샷 프롬프팅(Few-shot Prompting): — 모델에게 몇 가지 예시 입출력 쌍을 제공하여 특정 작업의 수행 방식이나 출력 형식을 학습시키는 기법이다. 본 프로젝트에서는 사용자의 질문에 따라 적절한 연구원 페르소나와 지침을 JSON 형태로 생성하도록 유도하는 데 사용되었다.
동적 라우팅(Dynamic Routing): — 입력 데이터의 특성에 따라 처리 경로를 실시간으로 결정하는 기술이다. 여기서는 질문의 도메인(금융, 여행 등)에 맞춰 최적화된 어시스턴트 페르소나를 선택하여 이후의 검색 및 요약 품질을 높이는 역할을 한다.
APA 양식(APA Format): — 미국심리학회(American Psychological Association)에서 정한 학술 논문 작성 양식이다. 출처 인용과 참고문헌 목록 작성이 엄격하여 AI가 생성한 보고서의 신뢰성과 전문성을 확보하는 지표로 활용된다.

언급된 도구

LangChain추천

에이전트 워크플로우 및 파이프라인 오케스트레이션

NVIDIA NIM추천

Llama 3.1 70B 모델 추론 서빙

DuckDuckGo Search API추천

웹 검색 결과 수집

BeautifulSoup추천

웹페이지 텍스트 추출(스크래핑)

언급된 리소스

GitHubLearning Agentic AI - Research Summarization Engine GitHub