streaming-completions
스트리밍 완성
LLM이 생성하는 텍스트를 전체가 완성될 때까지 기다리지 않고 실시간으로 한 토큰씩 클라이언트에 전달하는 방식이다. 사용자 경험 측면에서 응답 대기 시간을 줄여주며 대화형 인터페이스 구현에 필수적이다.
스트리밍 완성
LLM이 생성하는 텍스트를 전체가 완성될 때까지 기다리지 않고 실시간으로 한 토큰씩 클라이언트에 전달하는 방식이다. 사용자 경험 측면에서 응답 대기 시간을 줄여주며 대화형 인터페이스 구현에 필수적이다.