LogSumExp Linearization
LogSumExp 선형 근사
토큰 수준의 exp(로그잇) 합으로 정의되는 청크 질량의 로그를 1차 테일러 전개를 통해 쿼리·압축 키 내적과 엔트로피 편향의 합으로 근사하는 수학적 표현이다. 이 표현은 청크 질량을 상수 비용으로 추정할 수 있게 하여 정확한 청크 선택을 가능하게 한다. 근사항은 청크 요약 키와 편향항으로 계산되어 학습 가능한 파라미터로 처리된다.
LogSumExp 선형 근사
토큰 수준의 exp(로그잇) 합으로 정의되는 청크 질량의 로그를 1차 테일러 전개를 통해 쿼리·압축 키 내적과 엔트로피 편향의 합으로 근사하는 수학적 표현이다. 이 표현은 청크 질량을 상수 비용으로 추정할 수 있게 하여 정확한 청크 선택을 가능하게 한다. 근사항은 청크 요약 키와 편향항으로 계산되어 학습 가능한 파라미터로 처리된다.
