TL;DR
작성자는 cosine similarity가 검색어의 행동 방향을 구분하지 못한다는 가설을 검증하기 위해, spaCy dependency parse와 lemmatizer로 양쪽 검색어의 행동 동사를 추출하고 같은 동사 bucket에 속한 쌍만 verifier에 통과시켰습니다. SearchQueries에서 전체 추출 가능 쌍의 AUC는 0.6215였고 bucket 일치 쌍은 0.6150으로 오히려 낮았지만 신뢰구간이 겹쳐 유의미한 변화가 없는 결과였습니다. 전체 경계 사례 중 동사를 양쪽에서 추출할 수 있었던 비율은 27.3%에 그쳤고, 짧은 무동사 검색어와 auxiliary 오인식이 적용 범위를 줄였습니다. 같은 동사라도 목적어 순서가 뒤집힌 변환 작업을 잡지 못해, 동사만으로는 행동 축을 충분히 표현하기 어렵다는 결론에 가까워졌습니다.
실용적 조언
- 동사 일치 여부를 독립적인 승인 조건으로 사용하기보다 verifier의 추가 특징으로 넣고, auxiliary를 제거하거나 실제 동사 root를 선택하는 후처리를 비교할 수 있습니다. 검색어에서 동사뿐 아니라 변환 대상과 방향을 함께 추출하면 객체가 뒤바뀐 사례를 다룰 수 있습니다. 짧은 명사구 검색어에는 별도의 객체·속성 기반 규칙을 적용해야 합니다.
섹션별 상세
용어 해설
- 곡선하면적(AUC)
- — AUC는 분류기가 양성 사례와 음성 사례를 얼마나 잘 구분하는지 나타내는 평가 지표입니다. 1에 가까울수록 순위화 성능이 높고, 이 글에서는 verifier의 매칭 판별력을 비교하는 데 사용됐습니다.
- 의존 구문 분석(Dependency Parsing)
- — 의존 구문 분석은 문장 안에서 단어 사이의 문법적 의존 관계를 찾아 주어, 동사, 목적어 등의 구조를 파악하는 방법입니다. 이 글에서는 검색어에서 행동 동사를 추출하는 입력 단계에 쓰였습니다.
- 표제어 추출(Lemmatization)
- — 표제어 추출은 동사의 활용형처럼 형태가 달라진 단어를 사전의 기본형으로 통일하는 처리입니다. 글의 규칙 기반 추출기는 이 과정을 통해 검색어의 행동을 같은 동사 bucket에 넣으려 했습니다.
- 경계 사례 쌍(Gray-zone Pair)
- — 경계 사례 쌍은 검색어와 후보가 명확한 정답 또는 오답으로 쉽게 분류되지 않아 verifier의 판단이 필요한 데이터입니다. 글에서는 이 쌍 중 행동 동사를 양쪽에서 추출할 수 있는 사례만 제한 검증 대상이 됐습니다.
- 코사인 유사도(Cosine Similarity)
- — 코사인 유사도는 두 벡터가 이루는 각도를 이용해 의미적 방향의 유사성을 계산하는 방식입니다. 글의 가설은 이 점수만으로는 검색어의 행동 방향을 구분하기 어렵기 때문에 동사 bucket을 먼저 적용하자는 것이었습니다.
언급된 도구
spaCy는 dependency parse와 lemmatizer를 이용해 검색어의 문법 구조와 동사 기본형을 추출하는 데 사용됐습니다. 이 글에서는 embeddings 대신 규칙 기반 전처리 도구로 활용됐습니다. auxiliary-heavy 표현에서 실제 행동이 아닌 'have'를 선택한 사례가 오류 원인으로 제시됐습니다.
CacheVerifier는 행동 동사 bucket을 verifier 앞단에 적용하는 실험의 코드와 raw numbers가 갱신된 저장소입니다. 작성자는 SearchQueries 결과와 null result를 재현할 수 있도록 저장소를 업데이트했습니다. 원문에 제시된 GitHub 주소에서 실험 자료를 확인할 수 있습니다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
