혼합 LLM 임베딩 정렬을 위한 상대 표현법과 Lowdin 대칭 직교화 기법

작성자는 다른 사용 경험이나 대체 기하학적 우회 방법을 묻고 있어 토론을 촉구하고 있으며, 게시물 자체에 구현 노트와 재현 가능한 노트북을 공유해 실무 재현을 기대하는 태도를 보였다. 원문의 댓글 내용은 제공되지 않아 외부 반응이나 합의 여부는 본문만으로 확인할 수 없다. 게시자는 앵커 샘플링 조건과 FP16 수치 안정성 같은 실무적 함정을 명확히 적시해 실전 적용을 염두에 둔 작성임이 드러난다.

• 앵커는 임의 노이즈가 아닌 기준 모델 출력 분포에서 샘플링한 의미 다양성 텍스트로 구성해야 하며, 잘못된 앵커 샘플링은 도메인 불일치를 남겨 매칭 실패를 유발한다.
• 앵커 행렬에 대해 S = E^T * E를 계산하고 스펙트럴 분해로 S^{-1/2}를 얻어 E' = E * S^{-1/2}로 직교화해야 수치적으로 안정적인 기준 좌표계가 생성된다.
• 각 에이전트·태스크의 앵커 유사도 벡터는 앵커 축을 기준으로 열 단위(axis=0)로 평균과 표준편차를 계산해 Z표준화해야 모델 간 센트로이드를 정렬할 수 있으며, 행 단위 정규화는 도메인 이동을 제거하지 못하므로 피해야 한다.
• 표준화된 프로파일 간 유사도는 코사인 거리를 사용하되 앵커 차원이 K>20인 경우 특히 Euclidean 거리는 피해야 하며 FP16/BF16 환경에서의 분산 소실에 주의해야 한다.

Anisotropy Cone

— LLM 임베딩에서 벡터들이 높은 유사도로 한 방향으로 쏠려 분산이 급격히 줄어드는 현상으로, 표준화 시 분산이 거의 0에 수렴하여 수치 불안정과 FP16/BF16 환경에서 나눗셈 오류를 유발한다. 이 현상은 서로 다른 모델 간 직접 유사도 비교를 무의미하게 만들며, 정규화나 좌표 변환을 통해 분포을 재조정해야 한다. 본문에서는 이를 해결하기 위해 앵커 기반 표준화와 직교화가 핵심 수단으로 사용된다.

Gram Matrix

— 기본 벡터 집합 E의 내적을 통해 구성되는 대칭 행렬 S = E^T * E로, 벡터들 간의 상호 유사도와 선형 독립성 정보를 담는다. Lowdin 직교화에서는 이 행렬의 역제곱근 S^{-1/2}을 계산해 원래 벡터들을 최소 변형으로 직교 기준으로 사영한다. 직교화를 위해 스펙트럴 분해를 수행하고 고유값 안정화가 필요하다.

Lowdin Symmetric Orthogonalization

— 원본 벡터 집합을 평균 제곱 변형을 최소화하면서 정규 직교 기저로 변환하는 방법으로, Gram 행렬 S의 역제곱근을 곱해 E' = E * S^{-1/2}로 계산한다. 이 방법은 서로 다른 앵커 벡터를 정규 직교 기준으로 회전시켜 좌표계 불일치를 제거하므로 서로 다른 모델 출력의 비교 가능성을 높인다. 스펙트럴 분해와 고유값 처리 과정에서 수치적 안정성이 중요하다.

Column-wise Z-standardization

— 앵커 축에 대한 유사도 프로파일 행렬의 각 열에 대해 평균과 표준편차를 계산하여 정규화하는 방식으로, 축별로 모델 특유의 도메인 이동을 제거해 서로 다른 모델의 중심을 동일한 원점으로 맞춘다. 행 단위 정규화와 달리 전체 앵커 축에서의 전역 도메인 차이를 해소하므로 모델 간 클러스터 정렬에 결정적 역할을 한다. 계산은 axis=0으로 수행되어야 한다.

Cosine Distance

— 두 표준화된 프로파일 벡터 간의 방향 차이를 측정하는 지표로, 고차원 앵커 공간에서 유클리드 거리가 균일화되는 문제를 회피하고 대비를 복원한다. 표준화된 벡터 V_Xi, V_Tj에 대해 1 - cosine_similarity로 계산되어 모델 간 의미적 정렬의 판별력을 유지한다. 특히 앵커 차원이 K>20인 경우 Euclidean 대신 선택해야 한다고 본문에서 언급되었다.