인간 연구 아이디어와 대형 언어모델 생성 아이디어 간의 격차 측정

연구 아이디어 생성은 단건의 아이디어 품질뿐 아니라 반복적 분포 특성이 실무에 큰 영향을 미치므로 분포적 관점이 중요하다. 이 논문은 동일한 문헌 맥락에서 인간 논문과 LLM 생성 아이디어의 전체적인 분포를 비교하여 모델이 어떤 유형의 연구 기회와 방법을 과다생산하는지 계량화했다. 결과는 LLM이 유창한 개별 제안을 내더라도 인간 연구자들이 보이는 폭넓은 취향을 재현하지 못한다는 점을 분명하게 보여준다.

문헌 근거 아이디어를 생성하려면 주어진 관련 연구들의 핵심 차이와 한계에서 연구 기회를 찾아내고, 그 기회를 실질적인 기여로 전환할 구체적 방법을 제안해야 한다. 기존 평가들은 개별 아이디어의 참신성·타당성에 초점을 맞추었지만 이 연구는 같은 입력에서 여러 출력의 전체 분포, 즉 '연구 취향'을 비교하여 반복적으로 어떤 유형의 기회와 방법이 생성되는지를 계량화했다. 분포적 관점은 한 번의 좋은 사례가 아닌 시스템의 반복적 성향이 연구 생태계에 미칠 영향을 드러낸다.

기본적 원리는 두 축의 분류로 아이디어를 구조화하는 것이다. 첫 번째 축은 동기(why)로서 설명·모순·증거·단절·리소스 병목 등 서로 성격이 다른 기회 유형을 포착하고, 두 번째 축은 방법(how)으로서 합성·범위확장·형식화·실험적 매핑·시스템 구축 등 서로 다른 기여 전략을 표준화한다. 이 구조는 동일한 관련 연구 집합을 입력으로 받을 때 인간과 모델이 각각 어떤 레이블 혼합을 산출하는지 비교하기에 적합하다. 자동 주석자는 이러한 구조화된 표현을 바탕으로 레이블을 반복적으로 부여하며 분포 통계와 진단 점수를 산출한다.

분포적 분석에서 핵심 직관은 '범주 집중도'와 '템플릿화'다. 인간 아이디어는 다양한 기회와 방법을 분포시키며 특정 기계적 레시피에만 의존하지 않는 반면, 많은 LLM 출력은 자주 등장하는 기술적 모티프를 골라 그것을 통합하거나 연결하는 합성 연산을 반복적으로 적용하는 패턴을 보인다. 이로 인해 정규화 엔트로피가 낮아지고 TVD·JSD 같은 분산 지표가 증가하여 인간 분포와의 격차가 계량적으로 드러난다.

전체 분석 파이프라인은 세 단계로 구성되었다. 첫째, 인간 논문으로부터 해당 논문의 핵심 아이디어를 LLM 보조 추출 파이프라인으로 구조화된 동기와 방법 쌍으로 변환했다. 둘째, 각 논문에 대해 역설계된 관련 선행연구 4~8편의 제목과 초록만을 입력으로 하여 여러 LLM에게 동일한 문헌 맥락을 제공하고 구조화된 아이디어 생성을 요청했다. 셋째, 모든 인간·모델 아이디어에 대해 두 축의 분류와 진단 점수를 자동 주석자로 부여해 분포적 비교 및 추가 메커니즘 분석을 수행했다.

주석자는 GPT-5.4-mini를 사용해 각 아이디어에 대해 주 레이블과 보조 레이블, 신뢰도 및 세 가지 진단(표층적 결합, 병목 특이성, 보일러플레이트)을 출력하도록 설계되었다. 설계 검증은 150편의 보류집합에서 수행되었고, 두 저자의 수동 감사와 비교해 Cohen의 κ가 0.81~0.93으로 측정되어 자동화 확장을 정당화했다. 주석 결과는 주 레이블 분포를 추정하는 데 사용되며 진단 점수는 아이디어 특이성 및 템플릿화 정도를 해석하는 근거로 사용되었다.

분포 비교 지표는 총변동거리(TVD), Jensen-Shannon Divergence(JSD), 그리고 정규화 엔트로피로 구성되었다. TVD는 두 경험적 분포 간 레이블 질량 재분배량을 직접 수치화하고 JSD는 대칭적 정보량 차이를 제공하며 정규화 엔트로피는 레이블별 집중도를 0~1 범위로 표준화한다. 각 지표는 입력으로 경험적 레이블 분포를 받아 해당 수학식을 적용해 단일 스칼라 값을 출력하도록 계산되었다. 세 지표는 함께 사용되어 모델 분포가 인간 분포에 비해 얼마나 재배치·정보차·다양성 손실을 보이는지를 종합적으로 평가했다.

주요 결과는 LLM들이 인간 레퍼런스보다 훨씬 낮은 정규화 엔트로피와 높은 분포 거리 지표를 보였다는 점이다. 인간 아이디어의 정규화 엔트로피는 기회 축에서 0.926, 방법 축에서 0.920으로 높게 측정된 반면, 모델들은 기회 축에서 0.5500.758, 방법 축에서 0.7230.879 범위로 더 낮게 나타났다. TVD 관점에서 보면 최적에 가까운 모델도 기회 축에서 약 0.348의 TVD를 기록해 인간 분포의 약 3분의 1 정도의 질량 이동이 필요함을 시사했다.

구체적 패턴으로는 모델들이 문헌을 연결하는 bridge(단절 연결) 유형의 동기와 합성/통합(synthesis) 방식의 방법을 과다하게 생산했다. 인간 아이디어 중 연결 동기가 차지하는 비중은 12.1%였으나 평가한 주요 LLM들에서는 47.1%에서 64.2%까지 관찰되었고, 방법 축에서 합성 비중은 인간 5.1%에 비해 모델들은 22.5%~38.7%로 크게 높았다. 진단 점수에서도 다수 모델이 병목 특이성 점수가 낮고 보일러플레이트 점수가 높아 아이디어가 덜 구체적이고 더 템플릿화되었음을 보였다.

어블레이션 실험에서는 전체 논문 전문에서 모델이 생성한 요약을 입력으로 제공해도 모델 분포가 인간 분포에 가까워지지 않았다. 또한 많은 모델에서 'thinking' 모드를 켰을 때 오히려 bridge·synthesis 비중이 증가하고 엔트로피가 감소해 분포가 더 좁아지는 현상이 확인되었다. 이 결과들은 모델 의사결정이 단순히 정보 부족에서 기인한 것이 아니라 모델 내부의 선호 템플릿이 존재함을 시사한다.

아키텍처 관점에서 데이터는 각 인간 논문의 실현 아이디어를 구조화한 동기·방법 쌍과 그 아이디어를 낳았을 것으로 역추정한 관련 선행 연구들의 제목과 초록으로 구성되었다. 이 입력 집합은 11,683개의 인간 아이디어를 포함하며 각 항목마다 여러 LLM이 동일 입력으로부터 대응 아이디어를 생성해 페어 코퍼스를 형성했다. 주석 파이프라인은 GPT-5.4-mini를 사용한 자동 주석자와 인간 감사 루틴으로 구성되어 대규모 주석의 신뢰도를 확보했다.

측정 지표는 다음과 같이 계산되었다. 총변동거리(TVD)는 두 경험적 분포 P̂와 Q̂에 대해 레이블별 절대 차이를 합산한 뒤 1/2를 곱해 산출한다; 입력은 두 분포이고 처리 단계는 레이블별 차이 절대값 합산이며 출력은 01 범위의 스칼라로, 값이 클수록 분포 차가 크다. Jensen-Shannon Divergence(JSD)는 두 분포의 평균 분포 M을 만든 뒤 각 분포의 KL divergence를 평균해 산출하며 처리 결과는 대칭적 정보량 차이를 나타내는 스칼라다. 정규화 엔트로피는 분포의 엔트로피를 레이블 수의 로그로 나누어 01로 표준화한 값으로 입력은 분포, 처리 단계는 확률에 로그 확률을 곱해 합산 후 정규화이며 출력은 다양성 지표이다.

임베딩 기반 표현과 메커니즘 분석은 Qwen3-Embedding-4B로 2560차원 벡터를 생성해 실시되었다. 각 제안문과 관련선행의 임베딩 유사도 분포를 계산해 제안이 여러 선행 연구에 고르게 근접하는지(H, entropy)와 중심성 지표(B)를 산출했다. 클러스터링은 아키타입 재서술을 TF-IDF로 벡터화한 뒤 MiniBatchKMeans(k=30)를 적용했고 각 클러스터의 주 동작어(merge, integrate, replace 등)를 표준화해 모델·인간의 작동 분포를 비교했다.

주석자 검증과 통계적 신뢰도 측정에서 Cohen의 κ는 자동 주석자와 두 명의 저자 간 비교에서 0.81, 0.84, 0.93으로 보고되어 레이블 수준의 일치도가 높았다. 진단점수(surface stitching, bottleneck specificity, boilerplate)는 0~3의 정수 척도로 부여되었으며 이 값들은 주된 해석 근거로 사용되어 모델 출력의 구체성 저하와 템플릿화 경향을 수치화했다.

연구 코퍼스는 STEM 분야 중심으로 구성되어 있어 인문사회·임상 연구 등 다른 학문영역의 연구 취향 분포와는 다를 수 있다. 실험 설정은 관련 연구의 제목·초록을 입력으로 제공하는 제한적 문헌 근거로 구성되어 있으며 실제 연구자들이 활용하는 무형의 지식, 실패 사례, 장기 연구 계획 등은 반영되지 않는다. 분류와 자동 주석은 인간 검증을 거쳤지만 복잡한 아이디어를 이산 레이블로 압축하는 과정에서 일부 세부 차이가 손실될 가능성이 존재한다.