Apodex Discovery의 발견형 AI 현실 벤치마크

왜 중요한가

기존 AI 벤치마크는 고정된 질문의 정답이나 최종 성공 신호를 주로 측정하지만, 실제 발견은 가설 수립, 도구 실행, 관찰, 검증, 수정이 반복되는 장기 과정이다. Apodex Discovery는 foundation model을 단독으로 보지 않고 harness, tools, control policy, 환경, 검증기를 결합한 Heavy-Duty Solver 단위로 평가해 알려지지 않은 문제를 실행 가능하고 검증 가능한 investigation으로 바꾼다.

핵심 기여

현실 문제를 발견형 벤치마크로 전환

10명의 STEM Ph.D. 연구자가 16개 sector의 561개 산업을 두 달간 조사해 423개 고가치 문제를 모았다. reasoning depth, 검증 가능성, 데이터·도구 가용성, 검증 지연, 실제 영향과 상업적 접근성을 심사해 초기 TRACES 공개 범위에서 20개를 골랐다. 이미 정답이 있는 질문이 아니라 회고형 hidden outcome과 전향형 discovery challenge를 함께 다룬다.

Environment–Task–Episode 실행 구조

Problem manifest가 목표와 제약을 고정하고, environment가 도구·데이터·자원·피드백을 제공하며, episode가 개별 입력과 hidden ground truth를 가진 실행 단위가 된다. 솔버는 고정된 interface를 통해 행동하고 환경은 상태 변화에 따른 관찰을 반환한다. 모든 모델과 harness가 같은 interface를 통과하므로 성능 차이를 모델, 도구, agent loop, feedback 처리 같은 구성 요소에 귀속할 수 있다.

TRACES와 HDS6 과정 평가

HDS6는 Tools, Repair, Alternatives, Coherence, Evidence, Scope의 여섯 능력을 trajectory에서 따로 채점한다. 최종 결과를 보지 않는 blind process verifier가 외부에 기록된 행동과 관찰만 읽고, integrity gate는 phantom tool call이나 조작된 도구 결과를 걸러낸다. 이 과정 점수는 hidden outcome이 늦거나 불완전한 문제에서도 솔버가 신뢰할 만한 investigation을 수행했는지 판정하게 한다.

생명공학·신약 문제에서의 실증

AAV capsid design의 viability, tropism, structure prediction, generative design 네 task에서 Apodex가 task-level published state of the art보다 7% 높았다. Drug repurposing에서는 task-specific biomedical environment를 추가하자 같은 closed-book backbone 대비 GPT-5.5의 평균 정규화 prediction score가 2.5 points, GPT-5.6-sol이 7.6 points 상승했다. 409개 trajectory에서 outcome score와 HDS6의 pooled Spearman 상관계수는 +0.51이었다.

핵심 아이디어 이해하기

고정된 시험 문제는 모델에 입력과 정답 기준을 미리 주므로, 한 번의 답변이 맞는지만 확인하면 된다. 그러나 curative therapy나 새로운 물질처럼 정답이 아직 없는 문제에서는 목표를 세부 결과로 나누고, 도구와 데이터에 접근하며, 관찰된 증거에 따라 가설을 바꿔야 한다. Apodex Discovery는 이 장기 작업 전체를 하나의 실행 단위로 취급한다.

솔버는 foundation model만을 뜻하지 않고 harness, memory, tools, control policy, agent loop를 포함한다. 문제의 입력과 성공 기준이 problem manifest에 들어가고, 솔버가 행동하면 environment가 코드 실행 결과, 검색 문서, 시뮬레이션, 실험 측정값 또는 verifier feedback을 반환한다. 이 입력에서 행동으로, 행동에서 새로운 관찰로 이어지는 반복이 고정 prompt와 Heavy-Duty Solver를 가르는 핵심이다.

최종 제출물만 맞으면 되는 구조에서는 중간 단계의 잘못된 근거나 우연한 성공을 구분하기 어렵다. Apodex는 load-bearing intermediate result와 최종 제출물을 hidden outcome verifier로 따로 확인하고, 기록된 trajectory는 HDS6로 평가한다. Tools와 Evidence가 부족하거나 Repair가 반복되지 않은 궤적은 최종 점수와 별도로 과정상의 결함을 남긴다.

정답이 확정되지 않은 discovery challenge에서는 결과 점수만 기다릴 수 없다. 솔버가 어떤 가설을 세웠고, 어느 자료를 근거로 후보를 순위화했으며, 어떤 한계를 인정했는지를 먼저 기록한 뒤 나중에 실험이나 외부 증거로 falsify할 수 있어야 한다. 따라서 이 프레임워크의 목표는 이미 존재하는 답을 재현하는 모델에서, 검증 가능한 조사 과정을 수행하는 시스템으로 평가 대상을 넓히는 데 있다.

방법론

Apodex Discovery는 먼저 open-ended ambition을 problem manifest로 변환한다. manifest에는 질문과 성공 기준, task decomposition, target outcome, hidden verifier, 허용 데이터와 도구, 시간·compute·tool-call·안전·데이터 접근 예산이 포함된다. 각 manifest에서 instance 데이터와 hidden ground truth를 달리한 여러 episode를 만들고, 단일 사례가 아니라 task 전체에서 솔버를 측정한다.

실행 중 솔버는 environment–task–episode interface를 통해서만 문제를 다룬다. Environment는 도구, 데이터, 코드 실행, 검색, 시뮬레이션 또는 실험 인터페이스를 제공하고, task는 입력·출력·성공 기준·검증 절차가 정해진 작업 단위이며, episode는 특정 데이터와 예산을 가진 한 번의 실행이다. 솔버의 행동 $a_t$ 와 환경 관찰 $o_t$ 를 순서대로 기록한 trajectory는 $π = ⟨a_1, o_1, …, a_T, o_T⟩$ 로 표현되며, 제출물 $y$ 와 함께 평가에 사용된다.

Outcome verification은 최종 제출물과 필요한 중간 결과를 hidden ground truth 또는 measurable proxy에 대조한다. 최종 결과는 $V_{out}^{final}(y,y^\star) → r_{final}$ 로, 세부 task는 $V_{out}^{(i)}(y_i,y_i^\star) → r_i$ 로 채점하며, 데이터 누출이나 contamination이 확인되면 점수를 낮추는 대신 episode를 무효화한다. 원시 결과는 trivial baseline을 0, 알려진 최선 결과를 1로 두고 선형 정규화해 서로 다른 task의 위치를 비교한다.

Process verification은 제출물과 분리된 trajectory를 blind하게 읽는다. HDS6는 Tools에서 외부 도구 선택과 결과 해석을, Repair에서 실패 원인 수정과 재확인을, Alternatives에서 경쟁 가설의 비교와 갱신을, Coherence에서 장기 상태와 제약의 일관성을, Evidence에서 주장과 관찰·자료의 연결을, Scope에서 결론의 적용 한계와 불확실성을 채점한다. 25개 subcapability는 task별 0/1/2 ordinal band로 평가되며, 한 모델이 근거를 인용하고 다른 모델이 반대 band를 검토한 뒤 제3의 판정 절차가 이견을 조정한다.

검증 결과는 verdict로 끝나지 않고 repair loop로 되돌아간다. 낮은 subcapability에는 더 높은 band에 필요한 구체 행동을 적고, load-bearing analysis가 찾은 오류에는 잘못된 단계와 다음 확인 절차를 연결한 repair note를 만든다. 이 note는 outcome score와 hidden ground truth를 노출하지 않은 채 다음 시도에 전달되므로 솔버가 오류를 국소화하고 수정한 뒤 다시 검사할 수 있다.

주요 결과

AAV capsid design에서는 viability prediction, tropism prediction, structure prediction, generative design의 네 단계가 하나의 생물학적 pipeline으로 구성된다. 논문에 따르면 Apodex는 네 task 모두에서 task-level published state of the art보다 7% 높은 결과를 냈다. 또한 claude-opus-4-8은 domain-specific environment에서 Task 1~3 평균 0.741을 기록해 Claude Code harness의 0.716보다 높았고, structure prediction에서는 0.657 대 0.595의 차이가 났다.

Drug repurposing에서는 같은 GPT backbone에 task-specific biomedical environment를 붙였을 때 평균 정규화 prediction score가 GPT-5.5에서 2.5 points, GPT-5.6-sol에서 7.6 points 상승했다. 환경은 mechanistic evidence, disease biology, clinical-trial records, pharmacology, safety·regulatory 자료와 repurposing 절차를 연결해 drug–disease hypothesis를 순위화하게 한다. 평가는 공개 답안이 아니라 held-out clinical, regulatory 또는 real-world outcome과 비교한다.

HDS6와 outcome verifier의 관계는 409개 numeric-outcome trajectory에서 pooled Spearman ρ가 +0.51, Pearson r가 +0.56으로 나타났다. 문제군별 Spearman ρ는 AAV capsid design +0.24, Clinical trials +0.47, Data for large language models +0.46, Training and systems for large language models +0.65였다. 다만 여러 task의 서로 다른 outcome scale을 합친 값이므로 절대적 보정값이 아니라 두 평가 채널의 순위 일치 정도로 읽어야 한다.

Controlled ablation은 고정된 TRACES episode interface를 사용해 foundation model, harness, initial skill guidance, terminal verifier-guided repair의 효과를 분리할 수 있게 했다. 이 결과는 단순히 더 강한 모델을 투입하는 것과 문제별 데이터·도구·피드백을 설계하는 것을 같은 조건에서 비교할 수 있음을 뜻한다. 다만 제공된 본문은 AAV 결과 절의 후반부와 전체 appendix를 포함하지 않으므로 세부 task별 최종 표와 추가 수치는 확인할 수 없다.

기술 상세

Heavy-Duty Solver의 입력은 problem manifest와 episode 데이터이고, 처리는 foundation model이 harness와 agent loop를 통해 허용 도구를 호출하며 상태를 갱신하는 방식으로 진행된다. 환경은 각 행동 뒤에 실행 오류, 검색 문서, 시뮬레이션 결과, 실험 측정값 또는 verifier feedback을 반환하고, 솔버는 이 관찰을 다음 행동과 최종 제출물에 반영한다. 이 구조에서는 모델의 언어 추론 능력만이 아니라 장기 상태 유지와 외부 시스템 연결이 평가 대상이 된다.

Outcome verifier는 최종 제출물 $y$ 를 숨겨진 기준 $y^\star$ 와 비교해 $r_{final}$ 을 산출하고, 분해된 task의 중간 산출물 $y_i$ 에는 별도 점수 $r_i$ 를 적용한다. 예를 들어 AAV sequence는 encoding·mutation 규칙을 먼저 통과한 뒤 predicted fitness를 평가하고, Drug repurposing은 검색한 mechanistic evidence, mechanism chain, promisingness estimate를 차례로 검사한다. 확정적 in-vivo 결과가 늦으면 held-out experimental fitness 같은 measurable proxy를 사용하지만, ground truth와 scoring rubric은 솔버에 공개하지 않는다.

HDS6의 여섯 축은 trajectory에서 관찰 가능한 행동으로 채점한다. Tools는 올바른 도구를 고르고 호출하며 결과를 내부 상태에 반영하는지, Repair는 실패나 검증 피드백 뒤 원인에 맞는 수정과 재검사를 수행하는지, Alternatives는 경쟁 가설을 명시하고 증거에 따라 순위를 바꾸는지를 본다. Coherence는 긴 실행 동안 상태·제약·논리의 일관성을, Evidence는 각 핵심 주장을 관찰·도구 출력·자료·참고문헌에 연결하는지를, Scope는 결론이 성립하는 조건과 미탐색 범위를 기록하는지를 본다.

Subrubric 방식은 여섯 capability를 총 25개 세부 능력으로 나누고 각 항목을 0/1/2 band로 평가한다. 별도의 load-bearing 방식은 최종 답변에 영향을 크게 준 trajectory 단계로 dependency graph를 거꾸로 구성한 뒤, 솔버의 reasoning을 보지 않은 panel이 해당 단계를 다시 풀어 차이를 연속적인 gap으로 계산한다. 두 방식 모두 낮은 점수의 원인과 다음 시도에서 필요한 행동을 repair note로 변환한다.

Outcome score와 HDS6는 서로 다른 신호를 제공한다. Outcome은 실제 과제 성공을 측정하지만 정답 확정이 늦고 실패 원인을 거의 알려주지 않으며, HDS6는 즉시 얻을 수 있는 도구 사용·근거·가설 관리·수정 행동을 기록한다. 따라서 두 채널을 함께 사용하면 최종 결과가 아직 없는 문제에서도 조사 과정의 신뢰성과 개선 방향을 측정할 수 있다.

실무 활용

TRACES는 연구용 AI 시스템을 고정 질문의 정답률이 아니라 현실 문제를 수행하는 전체 solver system으로 비교할 때 활용할 수 있다. 환경에 동일한 도구·예산·제출 interface를 적용하고 trajectory와 outcome을 함께 기록하면 모델, harness, agent loop, 도구 사용, feedback 처리의 차이를 분리할 수 있다.

AAV capsid의 viability, tropism, structure prediction, generative design을 중간 검증이 있는 연속 pipeline으로 평가하는 경우
Drug repurposing에서 근거 문헌, 약리 정보, 임상·규제 자료를 사용한 후보 순위와 mechanism hypothesis를 검증하는 경우
LLM pretraining-data procurement, filtering, deduplication, contamination detection pipeline을 hidden evaluation data와 leakage gate로 점검하는 경우
Training and systems for large language models에서 학습 속도, RL recipe, inference determinism, distributed-training debugging을 도구 실행과 repair loop로 평가하는 경우
정답이 아직 없는 discovery challenge에서 confidence-scored 후보와 falsifiable hypothesis를 제출하고 후속 실험으로 검증하는 경우

코드 공개 여부: 미확인

키워드

Apodex Discovery(발견형 AI 프레임워크)Heavy-Duty Solver(중량형 솔버)TRACES(현실 벤치마크)HDS6(과정 검증 지표)Environment–Task–Episode(실행 평가 구조)AAV capsid design(AAV 캡시드 설계)Drug repurposing(약물 재창출)

용어 해설

중량형 솔버(Heavy-Duty Solver): — Foundation model 하나만이 아니라 harness, tools, memory, control policy와 agent loop를 함께 묶은 실행 시스템이다. 개방형 현실 문제를 장기간 추적하면서 도구를 호출하고, 외부 피드백으로 가설과 결과를 수정한 뒤 검증 가능한 산출물을 제출한다.
문제 매니페스트(Problem Manifest): — 개방형 목표를 실행 가능한 문제 계약으로 바꾸는 정적 선언문이다. 질문과 성공 기준, 세부 task, 데이터와 도구, 자원 예산, 숨겨진 정답 검증 절차를 고정해 여러 episode가 동일한 조건에서 생성되도록 한다.
현실 기반 환경(Reality-Based Environment): — 정적인 prompt와 달리 솔버의 행동에 따라 도구 출력, 오류, 검색 결과, 시뮬레이션, 실험 측정값 같은 새로운 관찰을 반환하는 상태ful 실행 공간이다. 숨겨진 ground truth를 격리하고 고정된 episode interface를 통해서만 입력, 도구, 예산, 제출 형식을 제공한다.
과정 검증(Process Verification): — 최종 산출물의 정답 여부가 아니라 솔버가 어떤 행동과 근거를 거쳐 결과를 만들었는지 trajectory로 판정하는 방식이다. 도구 사용, 오류 수정, 대안 비교, 장기 일관성, 근거 연결, 적용 범위를 점검해 정답이 늦게 확정되는 문제에서도 진행 품질을 측정한다.
숨겨진 정답 데이터(Hidden Ground Truth): — 솔버가 직접 읽을 수 없도록 환경 내부에 보관하면서 제출 결과와 비교할 때만 outcome verifier가 사용하는 기준값이다. 데이터 누출과 정답 검색을 막고, 알려진 정답이 없는 문제에서는 실험 결과나 측정 가능한 proxy가 확정될 때까지 평가 경계를 유지한다.

Apodex Discovery의 발견형 AI 현실 벤치마크

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Apodex 1.1의 장기 작업 에이전트 확장

그럴듯한 거짓말을 멈추는 법: 검증 중심 AI 연구 엔진 Apodex

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

실제 업무를 끝내는 Agent의 조건

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 기사

Apodex 1.1의 장기 작업 에이전트 확장

그럴듯한 거짓말을 멈추는 법: 검증 중심 AI 연구 엔진 Apodex

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

실제 업무를 끝내는 Agent의 조건