조합형 스킬로 연구 논문을 끝까지 생성하는 시스템

왜 중요한가

연구 아이디어를 논문으로 바꾸는 과정은 글쓰기뿐 아니라 문헌 검증, 실험 실행, 근거에 따른 주장 수정, 그림 제작, 장기 일관성 유지까지 포함합니다. Spark-to-Paper는 이 과정을 별도 연구 플랫폼이 아닌 기존 coding assistant 내부의 13개 조합형 스킬로 구성하고, 모델의 해석과 코드로 확인 가능한 작업을 분리합니다. 8개 통제 주제에서 citation validity 99.5%, figure editability 96.4%를 기록했으며, 근거 없는 주장 탐지율은 단일 패스의 14%에서 전체 무결성·리뷰 스택 적용 후 92%로 높아졌습니다.

핵심 기여

기존 coding assistant 안의 13개 연구 스킬

Spark-to-Paper는 planning, literature retrieval, writing, review, figure generation, experiment execution 등을 13개 조합형 스킬로 나눕니다. 각 스킬은 공용 프로젝트 디렉터리에서 이전 산출물을 읽고 새 manuscript, bibliography, figure, experiment artifact를 다시 기록합니다. 별도 agent platform이나 orchestration service 없이 기존 coding assistant의 파일 조작, 도구 사용, 코드 실행 능력으로 전체 research-to-paper 흐름을 연결합니다.

근거에 맞춘 실험 설계와 주장 수정

계획 단계에서 데이터셋, baseline, metric, ablation, 결과 표의 구조를 먼저 고정하고 수치 칸은 실험 전까지 비워 둡니다. 실행 가능한 실험만 필요한 근거 공백을 해소하도록 수행하며, 모든 수치는 dataset, model configuration, seed, metric, source output으로 추적합니다. 결과가 나오면 주장을 supported, partially-supported, unsupported, contradicted, needs-confirmation으로 분류해 유지·약화·삭제·limitations 이동 또는 추가 실험으로 연결합니다.

결정론적 검사와 장기 자기 비평

인용, figure file, manuscript structure, notation, LaTeX compilation, 수치와 데이터의 연결처럼 규칙화 가능한 조건은 deterministic program으로 검사합니다. Self-Review는 수정된 부분과 주변 문맥의 불일치를 확인하고, Adversarial-Review는 이론적 타당성·실험 설계·시스템 유효성을 서로 다른 관점에서 점검합니다. 자기 반박 루프는 실험·비평·수정 주기를 최대 7회로 제한하며, 지지 근거를 얻지 못한 경로는 실패 보고서로 보존합니다.

역할에 따른 편집 가능한 그림 생성

측정 결과 그림은 image-generation model을 거치지 않고 기록된 실험 출력에서 plotting code로 직접 생성합니다. 방법·시스템 설명 그림은 초기 raster를 시각적 목표로 삼아 HTML의 editable text, shapes, connections, layout으로 재구성하고 render·compare·adjust를 반복합니다. 재구성이 신뢰할 수 있으면 editable vector PDF로 내보내고, 그렇지 않으면 원본 raster를 유지합니다.

핵심 아이디어 이해하기

일반적인 LLM 기반 논문 생성은 문헌을 실제로 확인하지 않은 채 citation이나 수치를 만들고, 초기 주장이 후속 실험 결과와 충돌해도 문서 전체를 일관되게 고치기 어렵습니다. Spark-to-Paper는 먼저 입력에 실제 측정값이 있는지 확인해 Proposal Mode와 Data-Aware Mode를 선택합니다. Proposal Mode에서는 관측하지 않은 값을 미지정 상태로 남기고, Data-Aware Mode에서는 정량 문장이 제공된 데이터나 실험 출력으로 뒷받침될 때만 통과시킵니다.

기존의 coding assistant는 파일을 읽고, 코드를 실행하고, 외부 도구를 호출하고, 장기간 산출물을 수정할 수 있습니다. Spark-to-Paper는 이 기능 위에 planning부터 assembly까지의 스킬을 배치하고, 스킬 사이의 인터페이스를 공용 프로젝트 파일로 단순화합니다. 모델은 어떤 문헌이 관련 있는지나 주장을 어떻게 고칠지 같은 해석을 맡고, citation validation, plotting, LaTeX compilation처럼 규칙이 분명한 작업은 코드가 수행합니다.

실험은 논문을 꾸미기 위한 마지막 단계가 아니라 주장을 받아들일지 버릴지 결정하는 근거 수집 과정으로 연결됩니다. 계획 단계에서 필요한 표와 metric을 고정한 뒤, 실행 단계가 데이터셋과 설정이 연결된 측정 산출물을 만들고, 이후 manuscript의 abstract·introduction·results·conclusion을 결과에 맞춰 함께 수정합니다. 따라서 결과가 가설을 지지하지 않으면 주장을 약화하거나 삭제하고, 반복 실패가 7회를 넘으면 해당 경로를 실패 보고서로 남긴 뒤 다른 아이디어를 시작합니다.

그림도 역할에 따라 처리됩니다. 수치를 전달하는 plot은 측정값에서 직접 PDF를 생성하므로 생성 모델이 값을 바꿀 경로를 차단하고, 설명용 diagram은 raster를 최종 결과가 아닌 시각적 목표로 사용해 HTML 요소로 재구성합니다. 이 구분은 정량적 충실성과 설명용 그림의 편집 가능성을 서로 다른 생성 절차로 확보하려는 설계입니다.

방법론

Spark-to-Paper는 기존 coding assistant 내부에서 작동하는 13개 skill과 공용 project directory를 기반으로 합니다. 입력이 short idea이면 먼저 structured proposal로 확장하고, 이미 proposal이면 paper pipeline에 바로 넣습니다. 이어 real experimental results의 존재 여부를 확인해 Proposal Mode 또는 Data-Aware Mode를 선택하며, 이 모드가 이후 정량적 글쓰기와 결과 무결성 검사에 전달됩니다.

Planning skill은 research question, contribution, section structure, notation, experimental design, venue requirements를 paper blueprint로 정리합니다. Citation skill은 관련 문헌을 검색하고 DOI, arXiv identifier, bibliographic metadata로 후보를 확인한 뒤 BibTeX file을 만듭니다. Writing skill은 blueprint와 verified bibliography를 바탕으로 LaTeX manuscript를 작성하고, Refinement skill은 전체 문서의 반복·용어·notation·분량을 조정한 다음 구조·인용·무결성 검사를 다시 실행합니다.

Review skill은 technical soundness, experimental design, evidence strength를 서로 다른 pass로 점검하며 모든 issue에 문제를 제기한 manuscript passage를 연결합니다. 살아남은 문제는 refinement로 돌아가고, Figure Generation은 측정 결과와 설명용 그림을 서로 다른 경로로 처리합니다. Assembly skill은 manuscript, bibliography, figures, venue template을 하나의 LaTeX project로 결합하고, 최종 compilation과 unresolved citation 및 LaTeX error를 deterministic check로 확인합니다.

실험 단계는 blueprint에 고정된 datasets, baselines, metrics, ablations, result tables에서 출발합니다. 필요한 근거 공백을 찾은 뒤 최소한의 실험을 실행하고 logs, metric files, tables, figures를 기록하며, 수치는 dataset·model configuration·seed·metric·source output까지 추적될 때만 manuscript에 들어갑니다. 결과에 따라 각 claim을 supported, partially-supported, unsupported, contradicted, needs-confirmation으로 분류하고 관련 문단 전체에 수정 사항을 전파합니다.

무결성 처리는 deterministic gate와 model-based critique의 결합입니다. deterministic gate는 blueprint, citation, manuscript content, figure file, compiled LaTeX project를 명시적 규칙으로 통과시키고, Self-Review와 Adversarial-Review는 문맥 일관성 및 의미적 근거를 다시 판단합니다. 실험·비평·수정 순환이 7회를 넘으면 해당 trajectory를 성공 논문으로 바꾸지 않고, 아이디어·방법·실험·결과·근거 부족 사유를 failure report에 기록합니다.

주요 결과

8개 통제 연구 주제에서 Spark-to-Paper의 citation validity는 99.5%였고, 약 1,900개 ground-truth figure elements 중 96.4%를 편집 가능한 형태로 보존했습니다. 비교 대상의 citation validity는 91%에서 96%였으며, single-pass LLM draft는 81%였지만 더 저렴하고 빨랐습니다. 단일 패스의 fabrication detection은 14%였고 deterministic gates만 적용하면 69%, gates와 self-review를 함께 적용하면 81%, adversarial review까지 포함하면 92%가 됐으며, adversarial review의 precision은 74%였습니다.

전체 시스템은 평균 11.9M tokens, manuscript당 $8.1, 평균 3.2시간을 사용했습니다. Ablation에서 gates는 직전 구성 대비 +8.1 ± 0.9M tokens와 +$5.3 ± $0.5를 추가했고, self-review는 +1.1 ± 0.2M tokens와 +$0.6 ± $0.1, adversarial review는 +2.6 ± 0.4M tokens와 +$1.6 ± $0.2를 추가했습니다. 이 수치는 품질 검사를 강화할수록 비용이 늘지만, unsupported claim 탐지와 review issue의 검증 가능성이 함께 높아짐을 나타냅니다.

두 case study에서는 입력으로 짧은 proposal만 제공한 뒤 결과에 맞춰 초기 기대를 수정했습니다. Clinical screening 사례는 Accuracy를 주된 지표로 삼은 초기 기대와 달리 Accuracy와 F1이 모두 deceptive하다고 결론 내리고 calibration 및 해석 가능성 점검을 함께 사용했습니다. PM2.5 forecasting 사례는 causal decomposition model이 comparable performance를 낼 것이라는 기대와 달리 causal model의 성능이 markedly worse하다는 실험 결과를 논문에 반영했습니다.

기술 상세

Spark-to-Paper의 실행 단위는 13개 composable skill이며, 각 skill은 현재 project state에서 필요한 파일을 읽고 결과 artifact를 같은 디렉터리에 기록합니다. 이 구조에서 pipeline은 high-level order만 정하고, coding assistant는 각 단계의 세부 실행 방식을 결정합니다. 논문 blueprint, verified BibTeX, LaTeX manuscript, experiment outputs, figures가 파일 기반 상태로 축적되므로 이후 단계가 동일한 문서와 근거를 이어받습니다.

Result-integrity mode는 입력의 상태에 따라 정량 문장의 허용 조건을 바꿉니다. Proposal Mode에서는 아직 측정되지 않은 값이 unspecified로 남고, Data-Aware Mode에서는 quantitative statement가 제공된 data 또는 experimental output으로 뒷받침돼야 합니다. 실험 결과가 manuscript에 들어가려면 dataset, model configuration, seed, metric, source output으로 추적돼야 하며, 실행 불가능한 code나 data가 있으면 해당 값은 생성하지 않습니다.

실험 설계는 관측 전 고정된 result table과 evidence requirement를 중심으로 작동합니다. Stage 1이 필요한 datasets, baselines, metrics, ablations를 정하고, Stage 8이 현재 claim과 아직 확보되지 않은 근거를 비교해 필요한 최소 실험을 선택합니다. 실행 결과는 logs·metric files·tables·figures로 남고, claim은 supported, partially-supported, unsupported, contradicted, needs-confirmation 상태를 거쳐 유지·약화·삭제·limitations 이동 또는 추가 실험으로 처리됩니다.

무결성 검사는 모델이 수행하는 의미 판단과 코드가 수행하는 명시적 검사를 분리합니다. Citation validity, template structure, notation, required figure files, LaTeX compilation은 deterministic gate가 확인하고, Self-Review는 국소 수정의 용어·반복·일관성을 점검합니다. Adversarial-Review는 이론적 soundness, experimental design, systems validity를 독립 pass로 확인하며, 각 issue는 문제를 제기한 구절의 인용과 실제 문제 여부·기존 해결 여부·범위 적합성 확인을 거칩니다.

Self-Refutation Loop는 가설을 지지하지 못한 결과 뒤에 method, experiment design, analysis를 계속 바꾸는 순환입니다. Spark-to-Paper는 experiment–critique–revision cycle을 최대 7회로 제한하고, 지원 근거가 여전히 부족하면 실패한 trajectory의 아이디어·시도·관측 결과·실패 사유를 failure report에 저장한 뒤 새 아이디어로 이동합니다. 이 방식은 모든 연구 방향을 성공 논문으로 바꾸는 대신 부정적·null·inconclusive 결과를 보존합니다.

Figure generation은 quantitative figure와 explanatory figure를 분리합니다. 측정 결과는 experimental output을 plotting code의 입력으로 넣어 native vector PDF를 만들고, 설명용 그림은 image-generation model이 만든 raster를 visual target으로 사용한 뒤 editable text, shapes, connections, layout을 포함하는 HTML로 재구성합니다. HTML을 render하고 원본과 compare한 뒤 adjust를 반복하며, reconstruction이 reliable하지 않으면 editable vector PDF 대신 original raster를 유지합니다.

실무 활용

Spark-to-Paper는 아이디어나 proposal에서 문헌 검증, 실험, LaTeX manuscript, 편집 가능한 figure, 최종 PDF까지 이어지는 연구 자동화 workflow로 사용할 수 있습니다. 특히 측정값이 없는 단계와 실제 결과가 있는 단계를 Proposal Mode와 Data-Aware Mode로 구분해, 확인되지 않은 수치가 문서에 들어가는 경로를 제한합니다. 다만 모델 판단과 실험 실행을 함께 사용하는 구조이므로 최종 연구자는 근거와 산출물을 별도로 확인해야 합니다.

짧은 연구 아이디어를 structured proposal과 실험 blueprint로 확장하는 연구 초기 단계
DOI, arXiv identifier, bibliographic metadata를 확인한 BibTeX bibliography 구축
실험 logs와 metric files에서 결과 표와 quantitative figures를 재생성하는 Data-Aware manuscript 작성
raster visual target을 HTML 요소와 vector PDF로 재구성해 수정 가능한 method diagram 제작
Self-Review, Adversarial-Review, deterministic gates를 결합한 논문 품질 점검

코드 공개 여부: 공개

코드 저장소 보기

키워드

Self-Refutation Loop(자기 반박 루프)citation validity(인용 유효성)figure editability(그림 편집 가능성)fabrication detection(날조 탐지)adversarial review(적대적 리뷰)composable skills(조합형 스킬)integrity checks(무결성 검사)self-critique(자기 비평)

용어 해설

조합 가능한 스킬(Composable Skills): — 각 연구 작업을 독립적인 실행 단위로 나누고, 공용 프로젝트 디렉터리의 파일을 통해 서로 연결하는 구조입니다. 모델은 현재 상태에 맞는 수행 방식을 결정하고, 각 스킬은 정해진 산출물을 생성합니다. 별도의 에이전트 그래프나 상시 오케스트레이션 서버 없이도 연구 과정을 단계적으로 구성할 수 있다는 점이 중요합니다.
결정론적 게이트(Deterministic Gates): — 인용 존재 여부, 파일 누락, LaTeX 컴파일 성공 여부, 수치와 데이터의 연결처럼 명시적인 규칙으로 판정할 수 있는 조건을 코드로 확인하는 장치입니다. 각 단계는 해당 검사를 통과해야 다음 단계로 진행됩니다. 모델의 판단에만 의존하지 않고 반복 가능한 무결성 검사를 적용한다는 점에서 장기 생성 과정의 오류를 줄이는 기반이 됩니다.
자기 반박 루프(Self-Refutation Loop): — 연구 가설을 지지하지 못하는 결과가 반복될 때 모델이 같은 방향의 방법과 실험을 계속 수정하는 실패 순환입니다. Spark-to-Paper는 실험·비평·수정 주기를 최대 7회로 제한하고, 이후에도 근거가 부족하면 실패 보고서로 기록합니다. 실패한 연구 방향을 성공한 논문처럼 포장하지 않고 새로운 아이디어로 이동하게 하는 복구 규칙입니다.
사전등록형 실험 설계(Preregistration): — 결과를 보기 전에 데이터셋, baseline, metric, ablation, 결과 표의 구조와 필요한 근거를 정하는 방식입니다. Spark-to-Paper에서는 표의 수치 칸을 비워 둔 채 실험 설계를 먼저 고정하고, 실행 후 측정값을 채웁니다. 관측된 결과에 맞춰 평가 절차를 뒤늦게 바꾸는 위험을 줄이는 데 목적이 있습니다.
벡터 PDF(Vector PDF): — 텍스트와 도형을 픽셀 묶음이 아니라 개별 편집 가능한 요소로 저장하는 PDF 형식입니다. 측정 결과 그림은 plotting code가 기록된 값에서 직접 생성하고, 설명용 그림은 HTML의 텍스트·도형·연결선·배치를 재구성한 뒤 PDF로 변환합니다. 논문 편집 과정에서 요소를 수정할 수 있고 수치 그림의 값이 원본 측정값에 연결된다는 장점이 있습니다.

조합형 스킬로 연구 논문을 끝까지 생성하는 시스템

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

실험실 속 기계

AI 심사자의 수사적 보상 해킹 측정

LLM-as-a-Judge 서베이

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

실험실 속 기계

AI 심사자의 수사적 보상 해킹 측정

LLM-as-a-Judge 서베이