Transformers 5.8.0 릴리즈를 통해 DeepSeek-V4, EXAONE-4.5 등 최신 모델 지원이 추가되고 Apex 통합이 제거되었습니다.
라이브러리 내에서 Apex 통합이 완전히 제거되었습니다.
혼합 정밀도(Mixed precision)나 융합 연산(Fused ops)을 위해 Apex를 사용하던 사용자는 PyTorch의 네이티브 기능으로 마이그레이션해야 합니다.
DeepSeek-V4 모델 지원
하이브리드 로컬+장거리 어텐션과 mHC 구조를 도입한 차세대 MoE 모델인 DeepSeek-V4 제품군을 지원합니다.
EXAONE-4.5 지원
LG AI Research의 오픈 웨이트 시각 언어 모델로, 최대 256K 컨텍스트 윈도우와 MTP 메커니즘을 지원합니다.
Gemma 4 Assistant 및 Granite 모델군 추가
투기적 디코딩을 위한 Gemma 4 Assistant와 기업용 문서 추출에 특화된 Granite4Vision 등이 추가되었습니다.
아직 관련 토론이 없습니다.
댓글을 작성하려면 로그인이 필요합니다.