반복 패널티
생성 모델의 동일 토큰이나 n-gram 반복을 억제하기 위해 로그잇이나 확률에 가감하는 기법으로, 반복 선택에 페널티를 적용해 루프를 줄이려는 목적이다. 페널티 강도를 높이면 반복은 억제되지만 예상치 못한 토큰 선택 변화나 출력의 의미 손실을 초래할 수 있다. 본문 맥락에서는 페널티를 과도하게 올리면 유효한 항목 수가 0이 되는 부작용이 보고되었다.
