packed-ternary
패킹된 삼진수(ternary) 가중치
패킹된 삼진수 가중치는 모델의 가중치를 세 값(예: -1, 0, +1)으로 표현한 뒤 메모리 내에서 여러 가중치를 하나의 워드에 집어넣어 병렬로 처리하는 기법이다. 이 방식은 메모리 대역폭과 캐시 활용을 높이며 정수 연산에서 처리량 향상을 가능하게 한다. 특히 GPU의 벡터화·정수 명령어와 결합하면 low-bit 추론에서 높은 토크 처리율을 얻을 수 있다.
패킹된 삼진수(ternary) 가중치
패킹된 삼진수 가중치는 모델의 가중치를 세 값(예: -1, 0, +1)으로 표현한 뒤 메모리 내에서 여러 가중치를 하나의 워드에 집어넣어 병렬로 처리하는 기법이다. 이 방식은 메모리 대역폭과 캐시 활용을 높이며 정수 연산에서 처리량 향상을 가능하게 한다. 특히 GPU의 벡터화·정수 명령어와 결합하면 low-bit 추론에서 높은 토크 처리율을 얻을 수 있다.
