GoldenMatch: LLM과 임베딩을 활용한 고성능 엔티티 결합 툴킷

섹션별 상세

GoldenMatch는 Polars, RapidFuzz, FAISS를 기반으로 구축된 엔티티 결합 툴킷이다. CSV, Excel, Parquet 파일뿐만 아니라 Postgres 데이터베이스와 직접 연동하여 중복 레코드를 식별하고 통합하는 파이프라인을 제공한다.

bash

pip install goldenmatch[embeddings] # 임베딩 및 FAISS 포함 설치
goldenmatch setup # GPU 및 API 키 설정 마법사 실행

GoldenMatch 설치 및 초기 설정을 위한 명령어

GoldenMatch의 대화형 터미널 UI(TUI) 데모 화면 — Screenshot데이터 컬럼 자동 감지 결과와 매칭 진행 상황을 시각적으로 보여주는 인터페이스를 확인할 수 있다. 사용자가 실시간으로 설정을 조정하고 결과를 검토할 수 있음을 나타낸다.

Zero-config 모드를 지원하여 사용자가 별도의 설정을 하지 않아도 데이터 컬럼 타입을 자동으로 감지한다. 이름, 이메일, 전화번호 등 각 필드에 적합한 스코어러와 블로킹 전략을 스스로 할당하여 즉시 중복 제거 작업을 시작할 수 있다.

bash

goldenmatch dedupe customers.csv # 자동 감지 모드로 중복 제거 실행

설정 파일 없이 데이터 컬럼을 자동 분석하여 중복을 제거하는 명령어

10가지 이상의 스코어링 방법과 8가지 블로킹 전략을 혼합하여 사용한다. Jaro-Winkler, Levenshtein 같은 문자열 유사도 측정 방식과 sentence-transformers를 이용한 시맨틱 매칭을 결합하여 단순 오타부터 의미적 유사성까지 모두 포착한다.

yaml

matchkeys:
  - name: fuzzy_name_zip
    type: weighted
    threshold: 0.85
    fields:
      - field: first_name
        scorer: jaro_winkler
        weight: 0.4
      - field: last_name
        scorer: jaro_winkler
        weight: 0.4
      - field: zip
        scorer: exact
        weight: 0.2

가중치 기반 퍼지 매칭을 정의하는 설정 파일 예시

LLM Boost 기능을 통해 판단이 어려운 데이터 쌍을 정밀하게 분석한다. GPT-4o-mini나 Claude를 활용하여 매칭 여부를 결정하며, 제품 매칭 벤치마크에서 F1 스코어를 44.5%에서 66.3%로 향상시키면서도 비용은 0.04달러 수준으로 억제한다.

대규모 데이터 처리를 위해 DuckDB 백엔드와 증분 동기화 기능을 제공한다. 1,000만 건 이상의 레코드를 처리할 수 있도록 데이터를 청크 단위로 분할하여 처리하며, 변경된 데이터만 선별적으로 매칭하는 기능을 갖추고 있다.

사용자 편의를 위한 골드 테마의 대화형 터미널 UI(TUI)를 포함한다. 실시간으로 임계값을 조정하며 클러스터링 결과를 확인하고, 매칭 결정에 대한 근거를 자연어로 설명받을 수 있는 기능을 제공한다.

매칭 결과 및 클러스터 상세 뷰 화면 — Screenshot식별된 중복 레코드들이 어떻게 클러스터링되었는지 보여주며, 각 레코드 간의 유사도 점수와 매칭 근거를 상세히 표시한다.

용어 해설

엔티티 결합(Entity Resolution): — 서로 다른 데이터 소스에 흩어져 있는 동일한 실체(고객, 제품 등)를 찾아내어 하나로 통합하는 기술이다. 데이터 중복을 제거하고 데이터의 일관성을 확보하는 데 필수적이며, 비즈니스 인텔리전스의 정확도를 높이는 기반이 된다.
블로킹 전략(Blocking Strategy): — 수백만 개의 레코드를 서로 모두 비교하는 대신, 유사할 가능성이 높은 그룹으로 미리 나누어 비교 횟수를 획기적으로 줄이는 기법이다. 연산 복잡도를 O(N^2)에서 선형에 가깝게 줄여 대규모 데이터 처리를 가능하게 한다.
골든 레코드(Golden Record): — 여러 시스템에 흩어진 중복 데이터 중 가장 정확하고 최신이며 신뢰할 수 있는 정보를 통합하여 만든 단일 표준 레코드이다. 데이터 거버넌스에서 단일 진실 공급원(Single Source of Truth) 역할을 수행한다.
근사 최근접 이웃(ANN): — 고차원 벡터 공간에서 특정 벡터와 가장 유사한 벡터를 완벽한 전수 조사 대신 근사치로 빠르게 찾아내는 알고리즘이다. FAISS와 같은 라이브러리를 통해 대규모 임베딩 데이터의 매칭 성능을 극대화한다.

기술

Polars
FAISS
RapidFuzz
sentence-transformers
GPT-4o-mini
DuckDB
PostgreSQL

활용 사례

고객 데이터 중복 제거
제품 카탈로그 매칭
RAG 데이터 전처리
데이터베이스 레코드 통합

언급된 리소스

GitHubGoldenMatch GitHub Repository