stream-replay
스트림 재생
스트리밍 응답을 통과하면서 조합해 저장한 뒤 동일 요청이 들어오면 SSE 합성으로 재생하는 방식으로, finish_reason이 확인된 완결 스트림만 캐시에 넣어 부분 전송으로 인한 무결성 문제를 피한다.
스트림 재생
스트리밍 응답을 통과하면서 조합해 저장한 뒤 동일 요청이 들어오면 SSE 합성으로 재생하는 방식으로, finish_reason이 확인된 완결 스트림만 캐시에 넣어 부분 전송으로 인한 무결성 문제를 피한다.