retrieval-embedding

검색 임베딩은 백본의 특정 히든 스테이트를 MLP-ReLU-MLP 투영기로 매핑하여 생성되는 연속 벡터로, 잠복 상태가 쿼리 분포를 보정하기 위해 예측한 z_ret가 원래 임베딩에 더해져 메모리와 의미적으로 정렬된 검색 벡터를 만든다. 이 임베딩은 대조 학습 손실과 함께 학습되어 검색 정밀도를 향상시킨다. 파라메트릭 임베딩은 텍스트 임베딩만 사용하는 전통적 RAG 방식보다 잡음에 강한 특성을 보였다.