온톨로지로 구조화한 LLM 에이전트 루프

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 글은 LLM의 확률적 추론에 타입 지정 온톨로지를 결합해 검색·추출·합성 과정을 구조화하는 연구 에이전트 운영 경험을 정리한 내용입니다. 시스템은 입력에서 온톨로지를 만들고, 여러 하위 질의를 계획한 뒤 웹 검색·페이지 수집·데이터베이스 검색으로 근거를 모아 온톨로지 필드를 채우고, 마지막에 구조에 맞는 답변을 합성합니다. 이 방식은 질의 계획이 목표 신호를 좇게 하고, 서로 다른 의미의 수치를 분리하며, 후속 처리와 디버깅을 쉽게 했지만 같은 질문에도 속성명과 타입 수가 달라지는 문제가 남았습니다. 한 달 넘게 실제 사용자 질의에 적용한 결과 일반적인 반복 루프보다 비용이 약 20~30% 높았고, 작성자는 품질 향상에 비해 이 추가 비용이 관리 가능한 수준이라고 평가했습니다.

실용적 조언

질의별로 필요한 엔터티·속성·관계를 먼저 정의한 뒤 검색 계획과 추출 결과를 그 구조에 맞추면, 의미가 다른 값이 하나로 합쳐지는 오류를 줄일 수 있습니다.
온톨로지 생성 단계에 구조화된 출력 제약을 적용해 속성명과 타입명을 일정하게 유지하는 방법을 우선 검증할 수 있습니다.
온톨로지 생성·계획·추출·합성의 추가 호출 비용을 검색과 페이지 읽기 비용과 분리해 측정하면, 약 20~30%의 전체 비용 증가가 실제 운영에서 관리 가능한지 판단하기 쉽습니다.

섹션별 상세

글은 확률적 LLM만으로 검색과 답변 합성을 이어가는 방식에서 비슷한 대상을 한 값으로 합치거나 필요한 정보의 형태가 흐려지는 문제가 생긴다고 봅니다. 이를 보완하기 위해 Provider, Model, Relationship처럼 엔터티·속성·관계를 정의한 타입 지정 온톨로지를 질의마다 먼저 구성합니다. 예시 질의는 OpenAI, Anthropic, Google의 대표 API 모델 가격을 묻고, Model에는 이름·입력 비용·출력 비용·컨텍스트 윈도우를 별도 속성으로 둡니다.

시스템은 먼저 입력 프롬프트를 바탕으로 LLM이 온톨로지를 만들고, 같은 LLM이 문제를 여러 하위 질의로 나눌 계획을 세웁니다. 이후 web search, web fetch, db search 같은 도구를 질의별로 반복 호출하면서 결과를 온톨로지의 필드에 채우고, 모든 수집이 끝난 뒤 구조에 맞춰 합성 요약을 생성합니다. 이 입력에서 계획 수립, 도구 사용, 정보 추출, 최종 합성까지 각 단계가 LLM 호출로 실행되는 다중 역할 루프입니다.

온톨로지는 검색 계획이 막연히 더 오래 실행되는 대신 사용자가 요구한 신호와 결과를 향하도록 만드는 역할을 했습니다. 추출 단계에서는 기업 가치 X, 창업자에게 간 Y, 투자자에게 간 Z처럼 겉보기에는 모두 금액인 값도 서로 다른 속성으로 유지해 하나의 숫자로 붕괴되는 현상을 줄였습니다. 최종 합성 단계는 미리 정해진 데이터 형태를 기준으로 답변을 만들기 때문에 결과를 다시 처리하거나 디버깅하고 추적하기도 쉬워졌습니다.

실제 연구 에이전트에 frontier model API를 사용해 한 달 넘게 적용했으며, 작성자는 전반적인 성능을 긍정적으로 평가했습니다. 다만 같은 질문에 Step 1을 반복 실행하면 속성명과 타입명이 달라지고 때로는 타입 개수까지 변해 안정적인 스키마를 전제로 한 하위 단계가 흔들립니다. 비용 측면에서는 검색·페이지 수집·읽기로 구성된 내부 도구 루프가 대부분을 차지했고, 온톨로지 생성·계획·타입 지정 추출·합성을 추가한 구조는 비슷한 반복 깊이의 일반 루프보다 약 20~30% 비쌌습니다.

작성자는 품질 향상과 함께 각 역할에 서로 다른 모델을 배정할 수 있는 조합 가능성도 온톨로지 기반 구조의 이점으로 봅니다. 해결 과제는 온톨로지 생성 단계의 비결정성이며, 구조화된 출력 제약을 적용해 동일한 입력에서 스키마가 안정적으로 나오도록 하는 방향을 추가로 살펴볼 필요가 있다고 했습니다. 따라서 이 접근의 핵심 가치는 온톨로지가 LLM의 검색·추출 경로와 출력 형태를 함께 규정하면서도, 현재 구현에서는 스키마 안정성을 위해 별도의 제약 장치가 필요하다는 점입니다.

용어 해설

온톨로지(Ontology): — 온톨로지는 엔터티의 종류와 속성, 엔터티 사이의 관계를 명시한 구조화된 지식 스키마입니다. LLM이 수집·추출할 정보의 범위와 형태를 고정해 누락과 혼합을 줄이는 역할을 합니다.
뉴로심볼릭(Neuro-Symbolic): — 뉴로심볼릭 접근은 확률적으로 텍스트를 생성하는 LLM과 명시적 규칙·지식 구조를 결합합니다. LLM의 유연한 추론을 형식적 제약과 검증으로 보완해 결과의 일관성과 통제 가능성을 높입니다.
타입 지정 스키마(Typed Schema): — 타입 지정 스키마는 데이터 항목마다 엔터티 종류와 속성의 자료 형태를 부여하는 구조입니다. 비슷한 값을 하나로 합치지 않고 서로 다른 의미의 필드를 분리해 후속 처리와 검증을 가능하게 합니다.
RDFS/OWL: — RDFS와 OWL은 온톨로지의 클래스, 속성, 관계와 그 의미를 형식적으로 표현하는 표준 계열입니다. 글의 구현은 이 정식 형식론 전체가 아니라 더 가벼운 타입 지정 스키마에 해당합니다.
구조화된 출력 제약(Structured-Output Constraints): — 구조화된 출력 제약은 LLM이 정해진 필드명과 데이터 형식에 맞춰 결과를 내도록 제한하는 방법입니다. 온톨로지 생성 단계에 적용하면 같은 입력에서 스키마가 달라지는 비결정성을 줄이는 데 활용할 수 있습니다.