damped-wave-equation
시간이 지남에 따라 에너지가 줄어드는 파동의 움직임을 설명하는 물리 방정식이다. 언어 데이터에서 멀리 떨어진 토큰 간의 영향력이 서서히 줄어드는 특성을 모델링하는 데 활용된다.
32K 토큰에서 367배 빠르다? 물리 법칙으로 구현한 차세대 어텐션
367배 빠른 속도? 물리 법칙으로 구현한 혁신적 어텐션 메커니즘