핵심 요약
디지털 인화 서비스 기업 Popsa는 기존의 규칙 기반 알고리즘 한계를 극복하기 위해 Amazon Bedrock 기반의 생성형 AI를 도입했다. 메타데이터와 역 지오코딩을 결합한 검색 기반 퓨샷 프롬프팅 아키텍처를 구축하여 12개 언어로 창의적인 제목과 부제목을 자동 생성한다. Anthropic의 Claude 3 Haiku에서 Amazon Nova 모델군으로 전환하며 사용자 긍정 피드백이 71%에서 73%로 상승했고, 비용 효율성도 확보했다. 특히 ConverseStream API를 통해 첫 제안 생성 시간(TTFS)을 0.92초로 단축하며 사용자 경험을 획기적으로 개선했다.
배경
Amazon Bedrock API 사용법, 프롬프트 엔지니어링(Few-shot) 기초 지식, RAG(검색 증강 생성) 개념
대상 독자
생성형 AI를 활용해 사용자 경험을 개선하고 운영 비용을 최적화하려는 서비스 개발자 및 ML 엔지니어
의미 / 영향
이 사례는 특정 도메인 지식이 필요한 작업에서 LLM과 기존 메타데이터를 결합한 RAG 아키텍처가 얼마나 효과적인지 보여줍니다. 특히 Amazon Nova와 같은 최신 모델군과 스트리밍 API를 결합함으로써 대규모 B2C 서비스에서도 지연 시간과 비용 문제를 동시에 해결할 수 있음을 입증했습니다.
섹션별 상세




실무 Takeaway
- 반복적인 규칙 기반 시스템을 LLM 기반의 검색 기반 퓨샷 프롬프팅으로 교체하여 사용자 긍정 피드백을 58%에서 73%까지 끌어올릴 수 있다.
- Amazon Bedrock의 ConverseStream API를 활용해 결과물을 실시간 파싱하여 반환하면 TTFS를 1초 미만으로 줄여 사용자 이탈을 방지할 수 있다.
- Amazon Nova Lite와 같은 경량 모델을 활용하면 고성능 모델 대비 품질 저하를 최소화하면서도 운영 비용을 획기적으로 절감하고 처리량을 높일 수 있다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.