Edgee의 LLM 요청 신뢰성을 위한 재시도 및 폴백 메커니즘

LLM 기반 서비스에서 API 제공업체의 장애는 사용자 경험에 직결되는 심각한 문제다. Edgee는 단순한 재시도를 넘어 에러를 세 가지 범주(재시도 후 폴백, 즉시 폴백, 즉시 에러 반환)로 분류하여 효율적인 복구 프로세스를 수행한다. 실시간 성공률에 기반한 프로바이더 스코어링 시스템을 통해 최적의 대체 수단을 선택하며, 특히 스트리밍 응답의 경우 데이터 일관성을 위해 첫 번째 청크 전송 전까지만 폴백을 허용하는 설계를 채택했다. 이를 통해 개발자는 별도의 코드 수정 없이도 높은 가용성과 투명한 모니터링 환경을 확보할 수 있다.