가르칠 수 있는 것을 넘어선 검색: 에이전트형 시각 생성에서 지식 경계의 진화

왜 중요한가

실세계 텍스트-투-이미지 요청은 새로운 캐릭터, 최신 사건, 지역 문화 상징 등 휠체처럼 긴 꼬리를 가진 지식 수요를 동반하며, 고정 코퍼스에서 학습된 생성기는 이러한 세계 지식 결핍으로 인해 사실적 재현에 실패한다. 이 연구는 생성기를 단순히 더 크게 만드는 대신, 어떤 지식은 내부화하고 어떤 지식은 검색으로 제공해야 하는지 '경계'를 규정해 시스템 전체로 해결하는 방향을 제시했다. 그 결과 실사용 규모의 20,839개 프롬프트와 1M 규모의 검색 코퍼스를 바탕으로 검색을 선택적으로 호출하고 생성기와 이유자를 공동 학습시켜 성능 저하를 회복하는 실용적 파이프라인을 확립했다.

핵심 기여

대규모 실사용 지식 집중 데이터셋 공개

SearchGen-20K는 20,839개의 실사용 텍스트-투-이미지 프롬프트와 시각·문자 지식 슬롯을 포함하는 데이터셋이다. 각 프롬프트는 12개의 실패 범주와 22개 도메인을 포괄하며 체크리스트 기반 자동 평가를 위한 세밀한 어노테이션을 포함한다. 이 자원은 오프라인 재현을 가능하게 하는 SearchGen-Corpus-1M과 함께 공개되어 검색 증강 생성 연구의 실험 허들을 낮춘다.

검색이 오히려 해를 끼칠 수 있음을 밝힘

논문은 무차별적 검색이 생성 성능을 저하시킬 수 있음을 데이터로 확인했다. 개방형 생성기들은 검색 집약 프롬프트에서 21–28점으로 붕괴했고, 동일 모델이 NoSearch 집합에서는 63–75점에 머무르는 반면 검색 시 개념 오염과 복사 효과가 빈발했다. 이 관찰은 언제 검색할지를 판단하는 메커니즘이 필수적임을 실증적으로 확증한다.

게이트·필터·통합의 노이즈 저항 이유자 프로토콜 도입

세 단계 파이프라인은 검색 결정(게이트), 검색 반환의 참조 선별(필터), 시각 참조를 자연어 기반의 '증원된 명세'로 변환해 생성기로 전달(통합)한다. 통합 단계에서 시각 참조를 자연어로 요약해 전달함으로써 픽셀 수준의 스타일 누출과 배경 복사를 억제한다. 이 구조는 시각 도메인 특유의 실패 모드를 각각 타깃해 완화하도록 설계되었다.

Teach-then-Search 코트레이닝 루프 설계 및 검증

코트레이닝은 먼저 DPO 기반 온라인 학습으로 생성기가 내부화할 수 있는 지식을 흡수하게 하고 다음으로 거절 샘플링 파인튜닝으로 이유자를 재조정해 불필요한 검색을 억제한다. 이 이중 단계는 생성기 경계를 오른쪽으로 확장하고 이유자 정책을 그 경계에 맞춰 축소시키며 단계별로 성능이 단조롭게 개선되는 결과를 보였다. 같은 생성기-이유자 쌍에서 조정된 8B 이유자가 프런티어 오라클과 유사한 성능을 달성한 사례가 보고되었다.

핵심 아이디어 이해하기

실세계의 텍스트-투-이미지 요청은 매우 긴 꼬리의 지식 수요를 동반하며, 생성기는 고정 학습 코퍼스 때문에 최신성·희소성·문화적 특이성을 포괄하지 못한다. 이 상황에서 단순히 생성기 파라미터를 늘리는 것은 한계가 있으며, 어떤 지식은 파라메트릭으로 흡수 가능하고 어떤 지식은 항상 외부 문맥으로 제공되어야 한다는 구조적 분리가 존재한다. 이 분리는 생성기별로 달라지고 학습으로 이동할 수 있어 '지식 경계' 개념으로 정형화하였다.

방법론

전체 접근은 이유자(agentic reasoner)와 생성기를 함께 운영하는 두 단계 코트레이닝으로 구성된다. 우선 이유자는 게이트·필터·통합의 세 단계로 작동해 검색을 언제, 어떤 모달리티(image/web)로 실행할지 결정하고 반환을 선별해 증원된 텍스트 명세로 통합해 생성기로 전달한다. 생성기 측면에서는 온라인 Diffusion-DPO 절차로 검색 증강된 샘플들 중 상위·하위 쌍을 구성해 선호 신호로써 생성기를 미세조정하며, 이후 이유자는 거절 샘플링 파인튜닝을 통해 생성기가 내부화한 지식을 기준으로 검색 정책을 재학습해 불필요한 검색을 줄인다.

주요 결과

SearchGen-Bench에서 무차별적 검색을 적용하면 오픈 소스 생성기들이 Search-Intensive 집합에서 21–28점으로 크게 붕괴하는 반면 NoSearch 집합에서는 63–75점 수준에 머문다는 관측이 나타났다. 코트레이닝 절차는 세 단계(이유자 SFT, 생성기 DPO, 이유자 RFT)를 거치며 난이도 구간별로 단조로운 성능 개선을 보였고, Klein-4B 기준으로 Phase 2에서는 전체 평균을 31.8까지 끌어올려 동일 생성기에 대해 프런티어 오라클(31.2)과 유사한 수준에 도달했다. 또한 거절 파인튜닝으로 조정된 이유자는 NoSearch 집합에서 생성 성능을 훼손하지 않으면서 Search-Intensive 집합에서 의미 있는 이득을 확보해 선택적 검색이 가능함을 입증했다.

기술 상세

전체 아키텍처는 이유자(visual language model 기반)와 생성기(diffusion/flow-matching 타입)로 구성되며 이유자는 게이트·필터·통합의 I/O를 구조화해서 생성기 입력을 증원된 텍스트 명세로 만든다. 수학적으로 지식 경계는 생성기 G_{θ}와 품질 함수 Q를 통해 정의된다: 𝒦_{int}(θ)={k∈𝒦: E_{p|k}[Q(G_{θ},p,Search(k)) - Q(G_{θ},p,∅)] < ε}이며 이 정의에 따라 내부화 가능한 지식과 맥락 의존 지식으로 분할된다. DPO 단계에서는 검색 증강 명세로 생성기를 M개의 샘플을 생성해 점수를 매기고 상·하위 샘플로부터 DPO 손실을 적용해 생성기를 강화하며, RFT 단계에서는 이유자 궤적을 다수 롤아웃해 그룹 상대적 이점을 계산하고 이점이 양인 궤적만으로 이유자를 SFT 재학습해 검색 정책을 재조정한다.

한계점

논문은 최소 절차(한 회 DPO, 한 회 RFT)로서 원리를 실증했으나 절차가 모든 생성기 규모에서 동일한 절대 성능을 보장한다는 주장은 하지 않는다. 연구 결과는 생성기 용량이 성능 한계를 좌우하므로 더 큰 생성기와 결합하면 절대 점수가 개선될 여지가 있음을 분명히 한다. 또한 지식 경계의 예측 가능성, 경계의 스케일 법칙, 그리고 동영상·3D 등 다른 모달리티로의 일반화 가능성은 논문이 명확히 남긴 향후 연구 과제로 남아 있다.

실무 활용

제공된 데이터셋과 미리 실행된 검색 코퍼스는 실환경에서 검색 증강 생성 파이프라인을 재현할 수 있는 오프라인 인프라를 제공한다. 코트레이닝 절차는 비교적 작은 스케일(4B 생성기, 8B 이유자)에서 실행 가능하도록 설계되어 프로덕션 환경에서 점진적 개선을 도입하는 데 현실적인 경로를 제시한다. 공개된 GitHub 저장소는 연구자와 엔지니어가 동일한 롤아웃을 재현하고 자체 생성기·이유자 조합으로 실험을 확장할 수 있게 한다.

생성기가 최신성이나 희소한 문화적 요소를 결여한 환경에서 검색 증강을 선택적으로 적용해 사실성 높은 이미지를 생산하는 파이프라인 강화.
상품화된 이미지 생성 API에 대해 비용·지연을 최소화하며 필요한 경우에만 검색을 호출하도록 하는 정책 설계와 검증.
생성기 업데이트 주기와 검색 정책을 함께 운영해 반복적으로 생성기의 지식 경계를 확장하는 자가개선 워크플로우 구축.

코드 공개 여부: 공개

코드 저장소 보기

키워드

search-augmented generation(검색 증강 생성)knowledge boundary(지식 경계)Diffusion-DPO(DPO 기반 생성기 학습)rejection-finetuning(거절 샘플링 파인튜닝)gate-filter-integrate(게이트·필터·통합)

용어 해설

지식 경계(Knowledge Boundary): — 지식 경계는 특정 생성기 Gθ가 파라메트릭으로 흡수할 수 있는 세계 지식 집합과 외부 문맥으로 제공해야 하는 집합을 구분하는 분할이다. 이 경계는 생성기 파라미터 θ에 의존하며 학습으로 이동할 수 있어 검색 필요성이 동적으로 변한다. 경계 개념은 언제 검색을 호출해야 하는지를 결정하는 핵심 설계 변수가 된다.
게이트·필터·통합 파이프라인(Gate–Filter–Integrate): — 게이트·필터·통합은 검색 증강 입력의 노이즈를 차단하기 위해 순차적으로 작동하는 에이전트적 이유자 파이프라인이다. 게이트는 검색을 트리거할 지점과 모달리티를 결정하고, 필터는 반환 결과에서 필요한 참조만 선별하며, 통합은 시각 참조를 자연어로 변환해 생성기로 전달한다. 이 프로토콜은 이미지 기반 복사·스타일 누출 등 시각 특유의 실패 모드를 완화하도록 설계되었다.
거절 샘플링 파인튜닝(Rejection Finetuning): — 거절 샘플링 파인튜닝은 이유자의 추론 궤적을 롤아웃해 생성 결과를 점수화한 뒤, 그룹 내에서 이점(advantage)이 양인 궤적만 선별해 이유자를 추가 학습시키는 절차이다. 이 방법은 생성기가 내부화한 지식으로 인해 불필요하거나 해로운 검색 행동을 자동으로 걸러내어 이유자 정책을 생성기 경계에 재조정한다. 결과적으로 검색 호출이 생성기 능력과 정렬되도록 정책을 정교화한다.

가르칠 수 있는 것을 넘어선 검색: 에이전트형 시각 생성에서 지식 경계의 진화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 피드