factorized-model
인수분해 모델
큰 행렬 W를 두 행렬의 곱 W = UVᵀ로 표현하는 모델입니다. 이 표현은 (U,V)를 동시에 회전해도 W가 변하지 않는 대칭을 가지며, 좌표별 업데이트는 이 대칭을 깨뜨릴 수 있어 parameter basis에 따른 optimizer 차이를 낳습니다.
인수분해 모델
큰 행렬 W를 두 행렬의 곱 W = UVᵀ로 표현하는 모델입니다. 이 표현은 (U,V)를 동시에 회전해도 W가 변하지 않는 대칭을 가지며, 좌표별 업데이트는 이 대칭을 깨뜨릴 수 있어 parameter basis에 따른 optimizer 차이를 낳습니다.
