반복적 메타 성찰을 통한 자율적 과학적 발견

DiscoPER의 코드-기반 탐색과 보류 검증 절차는 관찰형 데이터셋에서 자동화된 패턴 발견 파이프라인으로 사용 가능하다. VLM 통합은 이미지가 포함된 데이터에서 메타데이터에 없는 시각적 특성을 활용한 분석을 실무에 접목할 수 있게 한다. 다만 공개된 GitHub 저장소가 없으므로 재현성 확보를 위해서는 구현 세부를 직접 재현해야 한다.

• 생태학 관찰 데이터에서 문헌에 보고된 패턴의 재현 및 새로운 가설 후보 발굴
• 대규모 시민과학 데이터에서 시각 단서와 메타데이터를 결합한 탐색적 분석 자동화
• 학제간 데이터 파이프라인에서 초기 가설 생성과 우선순위 선별을 위한 보조 도구

코드 공개 여부: 비공개

메타 성찰(Meta-Reflection)

— 메타 성찰은 축적된 수용된·기각된 주장 집합을 주기적으로 분석하여 미탐색 변수, 교란(confound), 복합 가설을 식별하는 절차이다. 이 과정은 이전 발견을 하나의 데이터로 처리하여 다음 가설 제안을 구조적으로 조정한다. DiscoPER에서는 Reflect 모듈이 이 역할을 수행하여 탐색 방향을 재설정하고 가설 다양성을 높였다.

코드 기반 개방 가설 공간(Code-Open Hypothesis Space)

— 코드 기반 개방 가설 공간은 시스템이 임의의 Turing-계산 가능한 통계 테스트를 실행 가능한 코드로 표현하여 가설을 구성할 수 있는 공간을 말한다. 이 공간에서는 단일 변수 간 엣지(edge) 검증을 넘어서 상호작용, 매개(mediation), 복합 구조까지 표현이 가능하다. DiscoPER은 이 공간을 활용해 더 풍부하고 표현력 높은 가설을 탐색했다.

보류 검증(held-out validation)(Held-out Validation)

— 보류 검증은 가설을 학습(split)용 데이터에서 코드로 튜닝한 뒤, 별도의 검증 분할에서 단 한 번만 재실행해 효과 크기와 유의성을 확인하는 절차이다. 이 방식은 반복적 튜닝을 통한 p-hacking을 억제하기 위해 설계되었으며, DiscoPER은 가설이 학습·검증 양측에서 기준(예: |δ|≥0.2, p≤0.05, δ_val≥0.6·δ_train)을 만족할 때만 수용했다. 보류 검증은 발견의 통계적 타당도를 보장하는 핵심 장치이다.

비전-언어 모델(Vision-Language Model)

— 비전-언어 모델은 이미지를 입력으로 받아 시각적 속성이나 설명을 텍스트로 추출하는 모델이다. DiscoPER은 VLM 호출을 통해 이미지에서 서식, 피처, 서식 밀도 같은 정보를 얻어 이를 통계적 테스트의 변수로 변환했다. 시각 단서가 메타데이터에 없을 때도 시각 근거 기반 가설을 만들 수 있게 하는 것이 중요하다.

효과 크기 기준(Effect Size Threshold)

— 효과 크기 기준은 가설을 수용하기 위한 최소 신호 강도를 의미하며 DiscoPER은 |δ|≥0.2을 기본 임계값으로 사용했다. 이 값은 통계적 유의성(p≤0.05)과 함께 학습/검증 분할에서 모두 충족되어야 발견으로 기록되었다. 검증 분할의 효과 크기가 학습 분할 대비 지나치게 작아지는 것을 방지하기 위해 δ_val≥0.6·δ_train 조건도 적용되었다.