다국어 언어 인식 정보 검색 평가 MLAIRE 프로토콜

다국어 검색에서 쿼리 언어와 검색 대상 언어 간의 불일치가 검색 품질에 영향을 준다. MLAIRE는 parallel passages across languages를 구성하고 Language Preference Rate(LPR)와 Lang-nDCG를 도입해 의미적 재현성과 쿼리 언어 선호를 분리해 평가한다. 31개의 dense, sparse, late-interaction retriever를 평가해 두 차원의 차이가 서로 다른 모델에서 나타난다.

출발점: 다국어 IR에서 의미적 재현성만으로는 사용자가 읽을 수 있는 문서 여부를 반영하지 못한다. 기존 지표는 언어 독립적 의미관계에 초점을 맞춰 언어 간 차이를 간과한다. 논문은 MLAIRE를 통해 두 차원의 차이를 분리 측정하기 위해 parallel passages와 LPR, Lang-nDCG를 제시한다. 이를 통해 높은 의미적 정확도와 사용 언어의 일치 여부 간의 상충 관계를 밝힌다. 다양한 retriever 유형(dense/sparse/late-interaction)이 제시된 지표에서 서로 다른 방식으로 동작한다. semantically strong retriever가 query-language에 맞지 않는 언어로도 올바른 내용을 반환하는 경향이 있을 수 있으며, 반대로 query-language 선호가 강한 모델은 의미적 관련성이 상대적으로 낮은 패시지를 선택할 수 있다.

입력 구성: 서로 다른 다국어 데이터에서 parallel passages를 구성해 cross-lingual semantic retrieval과 query-language preference를 분리 측정한다. 지표 정의: Language Preference Rate(LPR)와 Lang-nDCG를 도입하고 4-way decomposition으로 각 실패의 원인을 구분한다. 평가 대상: dense, sparse, late-interaction retriever를 포함한 31종의 검색기와 쿼리-패시지 쌍을 평가한다. 분석 방법: 각 모델의 LPR, Lang-nDCG, 차원별 실패 비율을 비교하고 서로 다른 재현성과 선호 편향 간의 trade-off를 도출한다.

표준 지표만으로는 의미적 정확성과 쿼리 언어 선호 간의 trade-off를 포착하지 못한다. 일부 모델은 query-language와 매칭되는 패시지 대신 의미적으로 관련된 패시지를 비쿼리 언어로 반환하는 경향이 있다. 다른 모델은 query-language 선호가 높은 패시지를 선택하지만 의미적정보는 상대적으로 약할 수 있다.