Hierarchical Token Pooling
계층적 토큰 풀링
멀티벡터 임베딩 안에서 서로 유사한 문서 벡터를 군집화한 뒤 각 군집을 평균 벡터 하나로 대체하는 압축 기법입니다. 이 과정을 통해 고해상도 페이지에서 발생하는 많은 이미지 패치 벡터의 개수를 줄입니다. NeoMME 실험에서는 int8 양자화와 함께 사용해 페이지당 저장 공간을 약 1.5MB에서 39kB 또는 6kB까지 낮췄습니다.
계층적 토큰 풀링
멀티벡터 임베딩 안에서 서로 유사한 문서 벡터를 군집화한 뒤 각 군집을 평균 벡터 하나로 대체하는 압축 기법입니다. 이 과정을 통해 고해상도 페이지에서 발생하는 많은 이미지 패치 벡터의 개수를 줄입니다. NeoMME 실험에서는 int8 양자화와 함께 사용해 페이지당 저장 공간을 약 1.5MB에서 39kB 또는 6kB까지 낮췄습니다.
