fastmtp

FastMTP는 MTP 처리를 별도 GPU에 분산해 메인 모델의 토큰 생성을 보조하는 방식입니다. 글에서는 3080 Ti로 일부 연산을 오프로딩해 초당 토큰 수를 높였습니다.