Foursquare 위치 매칭 경진대회 2위 솔루션: Team 2:30의 접근 방식

• •100만 개 이상의 레코드를 처리하기 위한 효율적인 3단계 파이프라인 설계
• •Transformer를 이진 분류기가 아닌 후보 필터링(Blocking) 용도로 활용
• •GBDT와 BERT의 앙상블을 통한 최종 분류 성능 극대화

대규모 데이터 매칭(Entity Resolution)에서는 모든 쌍을 비교하는 것이 불가능하므로 단계별로 후보군을 좁혀가는 전략이 필수적이다.

• •Haversine 거리와 n-gram TF-IDF 유사도를 혼합한 후보 추출
• •국가별 데이터 특성에 따른 거리 vs 이름 유사도 가중치 최적화
• •128개의 후보군 설정으로 98.9%의 높은 Recall 달성

Haversine 거리는 구 위에서 두 지점 사이의 거리를 계산하며, TF-IDF는 텍스트 내 단어의 중요도를 평가하는 지표이다.

model = TfidfVectorizer(
    tokenizer=lambda x: x,
    preprocessor=lambda x: x,
    token_pattern=None,
    analyzer='char_wb',
    ngram_range=(2, 3),
    min_df=2,
)
# ...(중략)
country_df_tfidf = model.fit_transform(name_list)

• •절대적 위치 정보와 상대적 유사도 지표를 결합한 특징 설계
• •Transformer Encoder 레이어를 통한 고차원 특징 추출 및 필터링
• •최종 분류 단계의 연산 부하를 줄이기 위한 대폭적인 후보 압축

Transformer는 시퀀스 데이터뿐만 아니라 특징 벡터 간의 관계를 파악하는 데에도 강력한 성능을 발휘한다.

• •LightGBM과 XGBoost를 활용한 정형 특징 기반 분류
• •다국어 BERT 모델을 통한 텍스트 시맨틱 매칭 보완
• •서로 다른 특성을 가진 모델들의 앙상블을 통한 일반화 성능 향상

GBDT는 정형 데이터 처리에 강점이 있고, BERT는 텍스트의 문맥적 의미를 파악하는 데 탁월하다.