Top-ρ 선택
Top-ρ 선택은 하이퍼 블록이 토큰별 중요도 분포를 Softmax로 계산한 뒤 누적 질량이 ρ에 도달할 때까지 상위 위치를 보존하는 비미분 가능한 선택입니다. 훈련에서는 straight-through estimator로 그라디언트를 전달해 스코어러를 학습합니다. 이는 저장할 토큰 수를 입력 길이 대비 크게 줄이는 압축 역할을 합니다.
