핵심 요약
Together AI는 기존 v1 SDK를 대체할 현대적이고 강력한 타입 시스템을 갖춘 Python SDK v2.0 릴리스 후보(RC)를 출시했다. 이번 업데이트는 OpenAPI 사양을 기반으로 자동 생성되어 API와의 1:1 매핑을 보장하며, 내부적으로 httpx 라이브러리를 채택하여 요청당 평균 20ms의 성능 향상을 이루었다. 새로운 SDK는 코드 인터프리터 세션 관리, 베타 버전의 인스턴트 클러스터 API 등 v1에 없던 새로운 기능을 포함하며 향후 모든 신규 기능은 v2를 중심으로 개발될 예정이다.
배경
Python 프로그래밍 기초, Together AI API 사용 경험, 정적 타이핑 및 키워드 인자에 대한 이해
대상 독자
Together AI API를 사용하여 AI 애플리케이션을 개발하는 파이썬 개발자
의미 / 영향
이번 SDK 업데이트는 Together AI가 엔터프라이즈급 개발 환경을 지원하기 위해 인프라와 도구의 안정성을 강화하고 있음을 보여준다. 강력한 타이핑과 성능 향상은 대규모 프로덕션 환경에서 Together AI 모델을 사용하는 개발자들에게 더 높은 신뢰성과 효율성을 제공할 것이다.
섹션별 상세
새로운 SDK는 Stainless를 통해 OpenAPI 사양에서 직접 생성되어 API 표면과 완벽하게 일치하는 현대적 아키텍처를 갖췄다. 이를 통해 엣지 케이스의 불일치를 줄이고 새로운 API 기능을 더 빠르게 배포할 수 있는 기반을 마련했다. 기존 requests 라이브러리 대신 httpx를 사용하여 타임아웃 및 연결 처리를 개선했으며 벤치마크 결과 요청당 약 20ms의 속도 향상이 확인됐다.
타입 안정성과 개발자 경험(DX)을 극대화하기 위해 파이썬 환경에서 타입스크립트 수준의 정적 타이핑을 지원한다. 모든 API 호출은 위치 인자 대신 키워드 전용 인자(Keyword-only arguments)를 사용하도록 변경되어 코드의 명확성을 높였다. 또한 together.types 네임스페이스를 통해 채팅 메시지, 응답 객체, 평가 파라미터 등에 대한 풍부한 타입 힌트를 제공하여 대규모 코드베이스 구축 시 안정성을 더했다.
오류 처리 모델이 완전히 재설계되어 TogetherError를 기반으로 하는 세분화된 예외 계층 구조를 제공한다. 기존의 모호했던 TogetherException 대신 BadRequestError(400), RateLimitError(429), APIConnectionError 등 HTTP 상태 코드와 네트워크 상황에 맞는 구체적인 클래스를 도입했다. 이를 통해 개발자는 발생한 문제의 원인을 더 정확하게 파악하고 적절한 예외 처리를 구현할 수 있다.
v2 SDK는 원시 응답(Raw Response) 접근 기능과 컨텍스트 매니저를 활용한 스트리밍 헬퍼를 새롭게 도입했다. .with_raw_response 메서드를 통해 HTTP 상태 코드나 헤더에 직접 접근할 수 있어 디버깅과 관측성이 용이해졌다. 또한 코드 인터프리터 세션 관리 기능이 추가되어 실행 결과 데이터 구조를 더 체계적으로 다루고 활성화된 세션 목록을 조회하는 등의 작업이 가능해졌다.
</> 코드 예제 포함
실무 Takeaway
- v1에서 v2로 마이그레이션 시 모든 API 호출을 키워드 인자 방식으로 변경하고 새로운 오류 계층 구조에 맞춰 예외 처리 코드를 수정해야 한다.
- 성능 최적화가 필요한 서비스의 경우 httpx 기반의 v2 SDK를 도입하여 요청 지연 시간을 평균 20ms 절감할 수 있다.
- 신규 기능인 인스턴트 클러스터(Instant Clusters)나 코드 인터프리터 세션 관리를 활용하려면 반드시 v2 SDK를 사용해야 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료