LLM이 새 태그를 만들고 임베딩으로 기존 태그를 찾는 법

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Simon Willison은 기존 태그가 1,856개인 블로그에서 모든 태그를 LLM 입력에 넣어 분류하는 방식의 한계를 짚으며 Doug Turnbull의 대안을 소개합니다. 이 방식은 LLM이 기존 어휘를 보지 않고 검색어나 콘텐츠에 맞는 새로운 태그 표현을 생성한 뒤, 해당 표현과 기존 태그를 벡터 임베딩으로 비교해 가장 가까운 실제 태그를 찾습니다. 예시 프롬프트에는 가구와 생활용품의 계층형 분류 형태가 포함되어 있어 모델이 원하는 구조의 태그를 생성하도록 돕습니다. 생성과 검색을 분리하면 방대한 태그 목록을 모델 컨텍스트에 모두 넣지 않고도 기존 분류 체계와 연결할 수 있습니다.

섹션별 상세

Simon Willison은 블로그에 오래된 글이 많지만 아직 태그를 붙이지 못한 콘텐츠가 남아 있는 상황에서 태그 분류의 입력 규모 문제를 짚습니다. 기존 태그가 1,856개에 이르러 모든 태그를 한 번에 LLM에 넣고 적합한 항목을 고르게 하기에는 목록이 너무 클 가능성이 있습니다. 따라서 모델이 거대한 기존 어휘를 직접 탐색하게 하기보다 새로운 분류 표현을 먼저 만들고 후속 단계에서 실제 태그와 연결하는 접근이 필요합니다.

Doug Turnbull의 방식은 LLM에 기존 태그 목록을 제공하지 않고 콘텐츠나 검색어에 맞는 태그를 자유롭게 생성하게 만드는 구조입니다. 모델이 상상한 태그 표현을 출력하면 그 표현을 벡터 임베딩으로 변환하고, 기존 태그 코퍼스의 임베딩과 비교해 의미적으로 가장 가까운 구체적 태그를 찾습니다. 이 흐름은 입력에 포함해야 할 태그 어휘의 크기를 줄이면서도 자유로운 생성과 기존 분류 체계의 정합성을 결합합니다.

예시 프롬프트는 모델이 생성해야 할 태그의 형태를 파악하도록 가구와 생활용품 분류 사례를 미리 제공합니다. 예를 들어 커피 테이블, 장식용 베개, 서랍장처럼 계층형 경로를 가진 분류명을 보여준 뒤 “brown coffee table”이라는 검색어에 맞는 새로운 분류를 생성하게 합니다. 생성 결과를 기존 상품 분류와 임베딩 유사도로 연결하면 모델이 전체 분류 사전을 기억하거나 한 번에 처리하지 않아도 검색어에 맞는 구체적 태그를 찾을 수 있습니다.

용어 해설

벡터 임베딩(Vector Embeddings): — 텍스트를 의미를 반영한 숫자 벡터로 바꾸는 기법입니다. 생성된 태그와 기존 태그를 같은 벡터 공간에 배치한 뒤 거리를 비교하면, LLM이 만든 새로운 표현과 의미가 가까운 기존 분류를 찾을 수 있습니다. 대규모 태그 목록을 한 번에 모델 입력에 넣지 않아도 되는 점이 핵심입니다.
태그 분류(Tag Classification): — 콘텐츠나 검색어에 적합한 분류명을 선택하는 작업입니다. 기존 분류 체계를 모델에 직접 모두 제공하는 대신 후보 표현을 먼저 생성하고, 검색어와 의미적으로 가까운 기존 태그를 후속 검색으로 연결하는 방식이 활용됩니다.
임베딩 검색(Embedding Search): — 문장이나 태그를 벡터로 변환한 뒤 벡터 간 유사도를 계산해 가까운 항목을 찾는 검색 방식입니다. 이 글의 방법에서는 LLM이 자유롭게 만든 태그 표현을 기존 태그 코퍼스와 비교해 실제 태그 후보로 변환하는 단계에 쓰입니다.

기술

LLM
vector embeddings

활용 사례

기존 태그가 많은 블로그의 자동 태깅
상품 검색어와 카탈로그 분류의 매핑
대규모 분류 체계에서 의미 기반 후보 검색