ThriftAttention: FP4 추론 속도와 FP16 품질을 동시에 잡는 혼합 정밀도 어텐션

ThriftAttention은 긴 문맥에서 발생하는 FP4의 성능 저하를 해결하기 위해 핵심 어텐션 블록만 FP16으로 처리하여 FP4 수준의 지연 시간과 FP16 수준의 품질을 달성하는 기법이다.

섹션별 상세

FP4 양자화는 추론 속도는 빠르지만 긴 문맥 처리 시 성능이 저하되는 한계가 있다. ThriftAttention은 어텐션 연산 중 가장 중요한 블록을 식별하여 FP16으로 처리하고, 나머지 블록은 FP4로 유지하는 혼합 정밀도 방식을 채택한다.

벤치마크 결과에 따르면, 전체 어텐션 블록의 5%만 FP16으로 승격시켜도 FP4와 FP16 사이의 성능 격차를 약 90%까지 회복할 수 있다. 이는 연산 효율성을 유지하면서도 모델의 추론 품질을 효과적으로 보존할 수 있음을 보여준다.

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 05. 28.수집 2026. 05. 28.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.