TL;DR

이 저장소는 생성형 검색 엔진의 콘텐츠 노출과 인용이 어떻게 이루어지는지를 계측하기 위해 크로스플랫폼 실험 데이터와 CN-GEO 대규모 인용 기록을 함께 제공한다. 연구는 인용의 '선택' 단계와 '흡수' 단계를 분리해 플랫폼별로 인용 목록에 드는 소스 수와 그 소스가 실제 답변 내용에 미치는 영향력을 각각 측정했으며, 602개 통제 프롬프트와 21,143개의 검색층 인용 기록 등 구체적 계측값을 공개했다. Parquet와 DuckDB 형태의 정제 데이터, 수집·정제 스크립트, 최종 리포트와 관련 논문 링크를 함께 배포해 연구 재현과 추가 분석을 지원하나 저장소 전체에 대한 단일 통합 라이선스는 제공되지 않아 재사용 전 하위 디렉토리별 라이선스 확인이 필요하다.

주요 기능

• 크로스플랫폼 실험 데이터를 제공한다. 실험은 602개 통제된 프롬프트와 21,143개의 검색층 인용 기록을 포함하며, 18,151개의 성공적으로 크롤된 페이지에서 72차원 특성을 추출해 플랫폼별 인용 선택과 흡수 차이를 계측하도록 구성되었다. 제공 데이터는 분석 재현을 위해 파이프라인과 Markdown/HTML 리포트, 원자료 링크를 함께 포함한다.
• 대규모 중국어 생성형 검색 데이터셋을 제공한다. CN-GEO는 214,119개의 원시 인용 기록과 64개의 JSONL 분할, 9,878개의 규범화된 출처 및 107,659개의 규범 페이지를 포함하는 정제된 데이터 마트를 포함하며 Parquet와 self-contained DuckDB 형태로 배포되어 바로 쿼리·분석할 수 있다. 데이터 제공은 신뢰성 점검과 품질 보고서를 동봉해 데이터 품질과 처리 파이프라인의 투명성을 유지한다.
• 연구 재현에 필요한 파이프라인과 스크립트를 포함한다. 크로스플랫폼 실험용 파이프라인과 CN-GEO를 구축한 정제 스크립트가 각 연구 디렉토리에 배치되어 있으며, 실험 재현·확장·재분석을 위해 원자료와 처리 방식이 문서화되어 있다. 리포트와 논문 링크가 연결되어 있어 연구 결과와 데이터 해석을 원자료와 대조하면서 확인할 수 있다.

어떻게 동작하는가

크로스플랫폼 실험은 통제된 프롬프트 집합을 여러 생성형 검색 엔진에 투입해 각 엔진이 어떤 신호에서 검색을 트리거하고 어떤 신뢰도를 가진 출처를 인용 리스트에 포함하는지를 기록하는 방식으로 이루어졌다. 인용 선택과 인용 흡수라는 두 단계 관측을 구분해, 인용 리스트에 든 페이지가 실제로 최종 답변의 내용·증거·구조에 얼마나 기여했는지를 텍스트 특성과 구조 특성으로 계량화했다. 데이터 저장은 JSONL 분할과 Parquet 표, self-contained DuckDB를 사용해 대규모 레코드를 효율적으로 질의하고 재현 가능한 분석 파이프라인을 지원하도록 설계되었다.

해결 문제

생성형 검색에서 한 번에 관찰되기 어려운 '인용의 선택'과 '인용의 흡수' 단계의 차이를 분리해 측정 가능한 지표로 구조화했다. 이로 인해 플랫폼별로 인용 목록에 드는 소스의 개수와 그 소스가 실제 답변 내용에 미치는 영향력을 각각 비교할 수 있게 되었다. 또한 CN-GEO 데이터셋은 대규모 중국어 생성형 검색 인용 기록을 정규화·정제해 원자료 기반의 계량 분석과 재현 가능한 연구를 가능하게 했다.

지금 주목받는 이유

최근 두 편의 arXiv 논문(arXiv:2604.25707 및 arXiv:2607.15771)으로 실험 결과와 데이터셋이 공개되면서 주목받고 있다. 특히 CN-GEO의 대규모 인용 레코드(214,119건)와 플랫폼별 비교를 통한 인용 흡수 분석이 생성형 검색의 투명성·평가 기준 논의에 기여했다. 아카이브 공개와 GitHub Pages로 즉시 접근 가능한 리포트 제공이 관심 확산을 촉진했다.

차별점

• 선택(selection)과 흡수(absorption)를 분리한 측정 프레임워크를 사용한다. 기존 연구들이 주로 인용 빈도나 단일 노출 지표에만 의존하던 점과 달리 본 연구는 인용이 단순 노출인지 실제 답변 내용에 통합되는지까지 추적해 플랫폼 간 차이를 밝힌다. 이 접근은 인용의 질과 흡수의 심도를 동시에 비교할 수 있게 해 플랫폼 최적화 연구에 직접적인 분석 근거를 제공한다.
• CN-GEO는 대규모 원자료와 정제 테이블을 함께 배포한다. 214,119개의 원시 인용 기록과 Parquet·DuckDB 형태의 정제본을 포함해 사용자가 바로 쿼리·합성·재현할 수 있도록 구성되어 있으며 데이터 품질 리포트와 분할별 설명 자료를 동봉한다. 이러한 구성은 연구 재현성과 데이터 재사용성을 높여 후속 분석과 방법 검증을 용이하게 한다.
• 실험 파이프라인과 리포트가 함께 제공되어 결과 추적이 가능하다. 크로스플랫폼 실험의 데이터 수집·처리 파이프라인과 최종 보고서가 동일 저장소에 배치되어 있어 원자료에서 최종 결과까지의 처리 흐름을 따라갈 수 있다. 이 배치는 연구자나 실무자가 실험을 재실행하거나 파생 분석을 수행할 때 필요한 모든 구성 요소를 한곳에서 확보하게 한다.

사용 사례

• 플랫폼 간 인용 동작을 정량적으로 비교할 때 사용한다. 연구자는 통제된 프롬프트와 인용 수준의 기록을 활용해 특정 엔진이 어떤 유형의 페이지를 인용하며 그 인용이 답변에 어떻게 반영되는지를 검증할 수 있다. 이 과정은 검색 엔진 설계의 영향 평가나 노출 정책 평가에 대한 증거 기반 판단을 가능하게 한다.
• 데이터 재현과 추가 분석을 위해 활용한다. CN-GEO의 Parquet와 DuckDB 산출물로 사용자는 대용량 필터링·집계·특성 추출을 자체 환경에서 바로 수행할 수 있으며, 제공된 스크립트로 원자료 정제 과정을 재현하거나 파생 변형을 생성할 수 있다. 연구자가 새로운 가설을 검증하거나 추가 변수(예: 시간대별 변화)를 도입해 확장 분석을 수행하기 적합하다.
• 문헌 조사와 방법론 비교를 위한 자료집으로 활용한다. 54편의 관련 논문과 주제별 정리가 링크된 논문 라이브러리는 GEO·AEO·RAG·Agentic Search 등 관련 방법론의 배경을 한데 모아 비교·대조할 수 있는 기준이 된다. 정책·거버넌스 논의에서 근거 자료로 인용 행태와 플랫폼 차이를 제시할 때 유용하다.

시작하기

전체 리포트를 빠르게 확인하려면 GitHub Pages의 온라인 HTML 보고서를 열어 주요 결과와 시각화를 먼저 확인하면 된다. 데이터를 사용해 분석을 시작하려면 ./03-cn-geo-citation-dataset/ 디렉토리의 Parquet 파일 또는 self-contained DuckDB를 내려받아 쿼리하면 되고, 데이터 정제 스크립트는 ./03-cn-geo-citation-dataset/scripts/에 위치한다. 크로스플랫폼 실험 파이프라인과 프롬프트는 ./01-geo-experiment-data-report/ 경로에서 찾아 실험 재현 절차를 따라갈 수 있다.

요구사항

• 데이터 소비를 위해 Parquet 파일을 읽을 수 있는 분석 환경과 DuckDB가 필요하다. 원자료는 JSONL 분할 형태도 제공되므로 JSONL을 처리할 수 있는 파이프라인 도구가 유용하며 대용량 처리를 위해 적절한 로컬 디스크 여유 공간과 메모리 자원이 권장된다. 저장소 상단에 통합 라이선스가 없으므로 재배포나 상업적 활용 전에는 각 하위 디렉토리의 저작권·라이선스 조건을 확인해야 한다.

벤치마크