Together AI, 타입 안전성이 강화된 Python SDK v2.0 출시 후보 공개

섹션별 상세

Together AI는 Stainless를 활용해 OpenAPI 사양에서 직접 생성된 새로운 Python SDK v2.0 RC를 출시했다. 이 방식은 API 엔드포인트와 SDK 간의 불일치를 최소화하며, 신규 기능이 출시될 때 SDK 업데이트를 훨씬 빠르게 제공할 수 있는 기반을 마련한다.

bash

uv add together
# 또는 pip 사용
pip install together

Together Python SDK v2.0 RC 설치 방법

내부 HTTP 클라이언트를 기존 requests에서 httpx로 교체하여 성능과 안정성을 개선했다. 벤치마크 결과 요청당 평균 약 20ms의 지연 시간이 단축되었으며, 더 정교한 타임아웃 처리와 연결 관리가 가능해졌다.

강력한 타입 시스템을 도입하여 Python 환경에서도 TypeScript와 유사한 수준의 타입 안전성을 제공한다. 응답 객체와 매개변수에 명확한 타입 정의를 적용하여 IDE의 자동 완성 기능을 극대화하고 대규모 코드베이스에서의 유지보수 효율성을 높였다.

에러 모델을 전면 재설계하여 TogetherError를 기반으로 하는 세분화된 예외 처리를 지원한다. 400(BadRequestError), 401(AuthenticationError), 429(RateLimitError) 등 HTTP 상태 코드별로 구체적인 클래스를 제공하여 예외 상황에 대한 정밀한 대응이 가능하다.

python

response = client.chat.completions.with_raw_response.create(
    model="meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
    messages=[{"role": "user", "content": "Hello"}],
)
print(response.status_code)
print(response.headers)
completion = response.parse()

HTTP 상태 코드 및 헤더 접근을 위한 Raw 응답 처리 예시

python

with client.chat.completions.with_streaming_response.create(
    model="meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo",
    messages=[{"role": "user", "content": "Write a story"}],
    stream=True,
) as stream:
    for line in stream.iter_lines():
        print(line)

컨텍스트 매니저를 활용한 스트리밍 응답 처리 방식

기존 SDK에 없던 새로운 기능으로 Raw 응답 접근 및 스트리밍 헬퍼가 추가되었다. with_raw_response를 통해 HTTP 헤더나 상태 코드를 직접 확인할 수 있으며, 컨텍스트 매니저를 사용한 스트리밍 처리를 통해 리소스 관리를 더욱 안전하게 수행할 수 있다.

용어 해설

소프트웨어 개발 키트(SDK): — 특정 플랫폼이나 서비스를 위한 도구, 라이브러리, 문서의 모음이다. 개발자가 해당 서비스의 API를 직접 호출하는 대신 익숙한 프로그래밍 언어로 쉽게 기능을 구현하도록 돕는다.
오픈API 사양(OpenAPI): — RESTful 웹 서비스를 기술하기 위한 표준 인터페이스 정의 형식이다. 이를 통해 서비스의 엔드포인트, 매개변수, 응답 구조를 기계가 읽을 수 있는 방식으로 정의하여 SDK 자동 생성이 가능해진다.
타입 안전성(Type Safety): — 프로그래밍 시 데이터 타입을 엄격하게 검사하여 잘못된 타입의 데이터가 입력되는 오류를 방지하는 성질이다. 코드 작성 단계에서 오류를 발견할 수 있어 런타임 안정성이 크게 향상된다.
출시 후보 버전(Release Candidate): — 정식 출시 전 마지막 테스트 단계의 소프트웨어 버전이다. 주요 기능 구현이 완료되었으며 실제 환경에서의 피드백을 통해 버그를 수정하고 안정성을 검증하는 목적으로 배포된다.

기술

Together AI API
Python
httpx
uv
Stainless

활용 사례

LLM 추론 서비스 구축
AI 에이전트 개발
파인튜닝 워크플로 자동화

언급된 리소스

GitHubTogether Python v2 GitHub Repository

문서Python SDK Migration Guide