Edgee의 LLM 요청 신뢰성을 위한 재시도 및 폴백 메커니즘

섹션별 상세

단순한 재시도 로직은 잘못된 요청(4xx)에 자원을 낭비하거나 특정 업체의 지속적 장애를 해결하지 못하는 한계가 있다. Edgee는 에러를 5xx/429(재시도 후 폴백), 타임아웃(즉시 폴백), 4xx(즉시 반환)로 정밀하게 분류하여 불필요한 지연을 최소화한다. 5xx 에러 발생 시 1회 재시도 후 실패하면 즉시 다음 순위 업체로 전환하여 가용성을 보장한다.

Edgee의 재시도 및 폴백 워크플로우를 보여주는 플로우차트이다. — Diagram요청이 들어온 후 프로바이더의 순위를 매기고, 에러 유형에 따라 재시도, 즉시 폴백, 또는 에러 반환을 결정하는 로직을 시각화한다. 5xx/429 에러와 408/타임아웃 에러가 서로 다른 경로로 처리되는 과정을 명확히 보여준다.

대체 업체를 선택하는 순서는 실시간 트래픽 데이터로 계산된 스코어링 시스템에 의해 결정된다. 최근 성공률이 높은 업체가 상단에 배치되며, 데이터센터별 성능 편차를 반영하기 위해 지역별 메트릭을 독립적으로 관리한다. 새로운 업체나 데이터가 부족한 경우 기본 점수(1.0)를 부여하는 Fail-open 방식을 적용해 시스템의 유연성을 유지한다.

스트리밍 응답 환경에서는 데이터 중복과 일관성 문제를 방지하기 위해 엄격한 폴백 경계선을 설정했다. 첫 번째 데이터 청크가 클라이언트에 전달되기 전까지만 재시도와 폴백이 가능하며, 일단 스트리밍이 시작된 이후의 장애는 클라이언트에 그대로 전달된다. 이는 대부분의 장애가 연결 초기 단계에서 발생한다는 실무적 데이터에 기반한 합리적인 트레이드오프다.

운영 투명성을 위해 모든 실패한 시도는 별도의 로그로 기록되며 전용 헤더를 통해 최종 응답 경로를 명시한다. X-Edgee-Provider와 X-Edgee-Fallback-Used 헤더를 제공하여 클라이언트 측에서도 폴백 발생 여부를 실시간으로 감지하고 경보를 설정할 수 있다. 이를 통해 엔지니어링 팀은 시스템이 자동으로 복구되는 동안에도 배후에서 발생하는 이슈를 정확히 파악할 수 있다.

용어 해설

폴백(Fallback): — 주 시스템이 정상적으로 작동하지 않을 때 예비 시스템으로 자동 전환되는 복구 메커니즘이다. LLM API 호출 실패 시 다른 모델 제공업체로 요청을 전달하여 서비스 중단을 방지하는 핵심 기술이다.
서버 전송 이벤트(SSE (Server-Sent Events)): — 서버가 클라이언트에 실시간으로 데이터를 푸시하는 단방향 통신 기술이다. LLM의 스트리밍 응답 구현에 주로 사용되며, 한 번 연결되면 데이터가 순차적으로 전송되는 특성을 가진다.
자체 키 사용(BYOK (Bring Your Own Key)): — 사용자가 직접 발급받은 외부 서비스의 API 키를 플랫폼에 등록하여 사용하는 방식이다. 이를 통해 기업은 기존 결제 관계를 유지하면서 플랫폼의 라우팅 및 모니터링 기능을 활용할 수 있다.
일시적 오류(Transient Error): — 네트워크 혼잡이나 일시적인 서버 부하로 인해 발생하는 일시적인 실패 현상이다. 시간이 지나면 자연스럽게 해결될 가능성이 높아 재시도 로직을 통해 성공적으로 처리될 수 있는 오류 범주에 속한다.

기술

Edgee
LLM API
SSE

활용 사례

LLM API 가용성 확보
멀티 프로바이더 폴백 시스템
실시간 API 모니터링

언급된 리소스

문서Edgee 공식 홈페이지

API DocsEdgee 공식 문서