Python과 LLM 임베딩을 활용한 컨텍스트 인식 검색 엔진 구축

섹션별 상세

기존 키워드 검색은 사용자의 의도와 문서의 정확한 단어 일치 여부에 의존하여 검색 실패가 빈번하다. 의미론적 검색은 텍스트를 고차원 벡터로 변환하여 단어의 의미적 근접성을 기반으로 관련 문서를 찾는다.

컨텍스트 인식 검색 엔진의 전체 파이프라인 구조도. — Diagram사용자 쿼리에서 임베딩 생성, 메타데이터 필터링, 코사인 유사도 스코어링으로 이어지는 검색 시스템의 전체 흐름을 시각화한다.

임베딩 모델은 문장을 고정 길이의 벡터로 변환하며, 코사인 유사도를 통해 두 벡터 간의 각도를 측정하여 의미적 유사성을 계산한다. 벡터가 단위 정규화된 경우, 코사인 유사도는 내적 연산으로 단순화되어 계산 효율이 극대화된다.

python

model = SentenceTransformer("all-MiniLM-L6-v2")
texts = [t["text"] for t in tickets]
embeddings = model.encode(texts, normalize_embeddings=True, show_progress_bar=True)

SentenceTransformers 모델을 사용하여 텍스트 데이터를 임베딩 벡터로 변환하는 코드

근거

all-MiniLM-L6-v2 모델은 CPU에서 실행되며 384차원 벡터를 생성한다. — Step 1: Generating Embeddings 섹션

메타데이터 필터링은 검색 전 단계에서 팀, 상태, 우선순위 등 구조화된 속성을 기반으로 후보군을 제한한다. 이는 불필요한 연산을 방지하고 검색 결과의 노이즈를 줄여 시스템의 정밀도를 향상시킨다.

python

class ContextAwareIndex:
    def __init__(self, embeddings: np.ndarray, documents: list):
        self.embeddings = embeddings
        self.documents = documents
    def search(self, query: str, top_k: int = 5, team: str = None, status: str = None, priority: str = None, after: "date" = None, before: "date" = None, min_score: float = 0.0):
        q_vec = model.encode([query], normalize_embeddings=True)[0]
        mask = np.ones(len(self.documents), dtype=bool)
        # ... (filtering logic) ...
        candidate_idx = np.where(mask)[0]
        scores = self.embeddings[candidate_idx] @ q_vec
        # ... (ranking logic) ...

메타데이터 필터링과 코사인 유사도 스코어링을 결합한 검색 인덱스 클래스 정의

근거

필터링을 스코어링 이전에 수행하여 불필요한 연산을 방지한다. — Step 2: Building the Index 섹션

인덱스 지속성 확보를 위해 임베딩 행렬과 메타데이터를 디스크에 저장하고 재시작 시 로드하는 방식을 적용한다. 이 구조는 매번 임베딩을 다시 계산할 필요 없이 효율적인 검색 시스템 운영을 가능하게 한다.

python

np.save("ticket_embeddings.npy", embeddings)
with open("ticket_metadata.json", "w") as f:
    json.dump([{**t, "created": t["created"].isoformat()} for t in tickets], f, indent=2)

임베딩 행렬과 메타데이터를 디스크에 저장하여 재사용하는 코드

용어 해설

의미론적 검색(Semantic Search): — 단어의 일치 여부가 아닌 문맥적 의미를 파악하여 검색하는 기술. 벡터 공간에서 의미가 유사한 문장들을 가깝게 배치하여 검색 정확도를 높인다.
코사인 유사도(Cosine Similarity): — 두 벡터 사이의 각도를 이용해 유사도를 측정하는 지표. 텍스트 임베딩에서 문장 간의 의미적 거리를 계산하는 핵심 지표로 사용된다.
임베딩(Embedding): — 텍스트를 고차원 벡터 공간의 수치로 변환하는 기술. 단어와 문장의 의미를 수학적으로 표현하여 컴퓨터가 의미적 관계를 이해하게 한다.
메타데이터 필터링(Metadata Filtering): — 검색 대상 데이터에 부가적인 속성 정보를 결합하여 검색 전후에 조건을 적용하는 기법. 검색 범위를 제한하여 정확도를 높이고 연산 효율을 개선한다.

기술

Python
SentenceTransformers
NumPy

활용 사례

엔지니어링 지원 티켓 검색
RAG 시스템
컨텍스트 기반 문서 검색

Python과 LLM 임베딩을 활용한 컨텍스트 인식 검색 엔진 구축

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드