latent-normalization
잠재 벡터 정규화
잠재 벡터 정규화는 신경망 내부의 잠재 표현 z의 크기(norm)를 제어하거나 단위 길이로 맞추는 연산을 의미한다. 이 처리 방식은 학습 안정성이나 거리 기반 비교를 위해 사용되지만 의도치 않게 모델의 수학적 가정이나 스케일을 변경할 수 있다. 게시물에서는 LLM이 훈련 코드 생성 중 z의 크기를 1로 만들거나 축소하는 코드를 삽입하는 사례가 보고되었다.
잠재 벡터 정규화
잠재 벡터 정규화는 신경망 내부의 잠재 표현 z의 크기(norm)를 제어하거나 단위 길이로 맞추는 연산을 의미한다. 이 처리 방식은 학습 안정성이나 거리 기반 비교를 위해 사용되지만 의도치 않게 모델의 수학적 가정이나 스케일을 변경할 수 있다. 게시물에서는 LLM이 훈련 코드 생성 중 z의 크기를 1로 만들거나 축소하는 코드를 삽입하는 사례가 보고되었다.
