챕터별 상세
LlamaIndex 선택 이유와 배경
오케스트레이션을 위한 가벼운 풋프린트와 강력한 커뮤니티 지원을 이유로 LlamaIndex를 선택했다. Experian은 규제 산업에서 운영되므로 프로젝트의 재사용성과 품질 관리가 매우 중요하다. 초기에는 프로젝트 재배포 시 답변 품질 유지와 케이스별 최적화에 어려움을 겪었으나 LlamaIndex 도입으로 이를 해결하기 시작했다.
오케스트레이션은 여러 AI 모델이나 도구를 연결하여 하나의 워크플로우로 관리하는 기술이다.
모듈화와 멀티 에이전트 워크플로우
워크플로우의 각 단계를 모듈화하여 LlamaIndex의 유연성을 극대화했다. 이를 통해 재사용 가능한 멀티 에이전트 구조를 구축했으며 각 모듈의 커스터마이징이 용이해졌다. 모듈화된 접근 방식은 엄격한 비즈니스 요구사항을 충족하는 데 결정적인 역할을 했다.
멀티 에이전트 워크플로우는 특정 작업을 수행하는 여러 개의 독립적인 AI 에이전트가 협업하는 구조이다.
성능 개선 및 도입 성과
2023년 9월 LlamaIndex를 조기 도입하여 성능을 비교한 결과 타 프레임워크의 응답 지연 시간(TTFT)은 8초였으나 LlamaIndex는 1초를 기록했다. 전체 애플리케이션을 단 2주일 만에 LlamaIndex 프레임워크로 재구축하는 데 성공했다. 이러한 성능 향상은 고객 만족도 지표인 NPS 점수 상승으로 직결되었다.
TTFT(Time to First Token)는 사용자가 질문을 던진 후 첫 번째 응답 단어가 생성될 때까지 걸리는 시간이다.
품질 관리 및 실무 조언
검색 거리(Retrieval Distance)가 너무 먼 질문은 답변을 거부하도록 설정하여 답변의 정확도를 높였다. 규제 관련 질문에는 미리 정의된 답변(Canned Responses)을 제공하는 기능을 추가해 안전성을 확보했다. 기술 변화가 빠른 산업 특성상 직접 시도하며 전문성을 쌓되 기존 솔루션을 지속적으로 재평가하는 태도가 중요하다.
검색 거리는 질문과 참조 문서 간의 유사도를 측정하는 지표로, 거리가 멀수록 관련성이 낮음을 의미한다.
언급된 리소스
GitHubLlamaIndex Core
DemoLlamaCloud
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 26.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
