random-projection
무작위 투영
무작위 투영은 고차원 벡터를 낮은 차원으로 선형 사영해 내적을 근사하는 기법이다. 본 논문에서는 TRAK-style Rademacher 투영을 사용해 모델 파라미터 공간의 그래디언트를 r=4096 차원으로 축약하여 코사인 유사도 비교 비용을 낮췄다. 이 방식은 inner product를 기댓값 관점에서 보존하므로 대규모 파라미터에 실용적이다.
중급
무작위 투영
무작위 투영은 고차원 벡터를 낮은 차원으로 선형 사영해 내적을 근사하는 기법이다. 본 논문에서는 TRAK-style Rademacher 투영을 사용해 모델 파라미터 공간의 그래디언트를 r=4096 차원으로 축약하여 코사인 유사도 비교 비용을 낮췄다. 이 방식은 inner product를 기댓값 관점에서 보존하므로 대규모 파라미터에 실용적이다.
