Firecrawl에서 Olostep으로 전환: 리서치 에이전트의 동시성 및 환각 문제 해결 사례

작성자의 구체적인 수치 비교에 대해 긍정적인 반응이며, 특히 동시성 제한 문제에 공감하는 분위기이다.

• 에이전트 속도가 느리다면 코드 수정 전 웹 스크래핑 API의 동시성 제한(Concurrency Limit)을 먼저 확인하라.
• LLM이 구조적 오류를 범한다면 입력 데이터가 깨끗한 Markdown 형식으로 전달되고 있는지 점검하라.

동시성(Concurrency)

— 시스템이 여러 작업을 동시에 처리하는 능력이다. 웹 스크래핑에서는 한 번에 보낼 수 있는 요청 수를 의미하며, 에이전트의 데이터 수집 속도와 직결되는 핵심 성능 지표이다.

벡터 저장소(Vector Store)

— 텍스트 데이터를 수치화된 벡터 형태로 저장하고 검색하는 데이터베이스이다. RAG 시스템에서 유사한 문맥을 빠르게 찾아 LLM에 전달하기 위한 기반 인프라로 활용된다.

환각 현상(Hallucination)

— LLM이 사실과 다르거나 논리적으로 맞지 않는 정보를 그럴듯하게 생성하는 현상이다. 입력 데이터의 구조가 불분명하거나 품질이 낮을 때 발생 빈도가 높아진다.

마크다운(Markdown)

— 텍스트 기반의 경량 마크업 언어이다. LLM이 웹 페이지의 구조(제목, 표, 목록 등)를 파악하기에 가장 적합한 형식으로 간주되어 웹 데이터 전처리에 널리 쓰인다.