Suture: LLM 스트리밍 응답의 잘린 JSON을 실시간 복구하는 리버스 프록시

섹션별 상세

LLM 스트리밍은 max_tokens 제한이나 네트워크 문제로 JSON이 중간에 잘려 클라이언트에서 JSONDecodeError가 빈번하게 발생함.

Suture는 리버스 프록시로 동작하며 SSE 스트림을 파싱하여 누락된 닫는 괄호나 따옴표를 실시간으로 주입함.

바이트 수준의 상태 머신과 SSE 파서를 사용하여 전체 응답을 버퍼링하지 않고 처리하므로 지연 시간이 약 10µs로 매우 낮음.

OpenAI, Anthropic, Vertex AI, AWS Bedrock 등 주요 LLM API와 호환되며 클라이언트 SDK 수정 없이 베이스 URL 설정만으로 도입 가능함.

보안 측면에서 API 키를 직접 전달받지 않고 그대로 포워딩하며, AWS Bedrock의 경우 SigV4 서명을 클라이언트가 수행하여 보안성을 유지함.

용어 해설

리버스 프록시(Reverse Proxy): — 클라이언트와 서버 사이에서 요청을 중계하는 서버. Suture는 LLM API 요청을 가로채 응답을 실시간으로 수정하는 역할을 수행함.
Server-Sent Events(SSE): — 서버가 클라이언트로 데이터를 실시간으로 푸시하는 표준 기술. LLM 스트리밍 응답의 핵심 전송 방식임.
JSON 복구(JSON Repair): — 손상되거나 불완전한 JSON 문자열을 유효한 JSON 형식으로 수정하는 기술. Suture는 스트리밍 중 잘린 JSON을 즉시 복구함.

코드 예제

bash

cargo install suture-repair

Suture 바이너리 설치 명령어

python

client = OpenAI(base_url="http://localhost:8787/v1", api_key=os.environ["OPENAI_API_KEY"])

OpenAI SDK에서 Suture를 사용하도록 베이스 URL 설정

기술

Rust
OpenAI API
Anthropic API
AWS Bedrock
Vertex AI

언급된 리소스

GitHubSuture GitHub

섹션별 상세

LLM 스트리밍은 max_tokens 제한이나 네트워크 문제로 JSON이 중간에 잘려 클라이언트에서 JSONDecodeError가 빈번하게 발생함.

Suture는 리버스 프록시로 동작하며 SSE 스트림을 파싱하여 누락된 닫는 괄호나 따옴표를 실시간으로 주입함.

바이트 수준의 상태 머신과 SSE 파서를 사용하여 전체 응답을 버퍼링하지 않고 처리하므로 지연 시간이 약 10µs로 매우 낮음.

OpenAI, Anthropic, Vertex AI, AWS Bedrock 등 주요 LLM API와 호환되며 클라이언트 SDK 수정 없이 베이스 URL 설정만으로 도입 가능함.

보안 측면에서 API 키를 직접 전달받지 않고 그대로 포워딩하며, AWS Bedrock의 경우 SigV4 서명을 클라이언트가 수행하여 보안성을 유지함.

용어 해설

리버스 프록시(Reverse Proxy): — 클라이언트와 서버 사이에서 요청을 중계하는 서버. Suture는 LLM API 요청을 가로채 응답을 실시간으로 수정하는 역할을 수행함.
Server-Sent Events(SSE): — 서버가 클라이언트로 데이터를 실시간으로 푸시하는 표준 기술. LLM 스트리밍 응답의 핵심 전송 방식임.
JSON 복구(JSON Repair): — 손상되거나 불완전한 JSON 문자열을 유효한 JSON 형식으로 수정하는 기술. Suture는 스트리밍 중 잘린 JSON을 즉시 복구함.

코드 예제

bash

cargo install suture-repair

Suture 바이너리 설치 명령어

python

client = OpenAI(base_url="http://localhost:8787/v1", api_key=os.environ["OPENAI_API_KEY"])

OpenAI SDK에서 Suture를 사용하도록 베이스 URL 설정

기술

Rust
OpenAI API
Anthropic API
AWS Bedrock
Vertex AI

언급된 리소스

GitHubSuture GitHub

Suture: LLM 스트리밍 응답의 잘린 JSON을 실시간 복구하는 리버스 프록시

섹션별 상세

용어 해설

코드 예제

기술

언급된 리소스

Suture: LLM 스트리밍 응답의 잘린 JSON을 실시간 복구하는 리버스 프록시

섹션별 상세

용어 해설

코드 예제

기술

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드