원문 보기
Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence
Paper

Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence

Felix Liu
2026.09.02
·Arxiv·by JunhaRyu
#AI#Benchmark#Discoverative AI#Evaluation#Framework

핵심 포인트

  • 1Apodex Discovery는 AI가 실제 세상의 복잡하고 개방적인 문제를 해결하도록 돕는 Heavy-Duty Solver 프레임워크와 TRACES 벤치마크를 제안합니다.
  • 2이 프레임워크는 문제 명세, Reality-Based Environment, 그리고 Tools, Repair, Alternatives, Coherence, Evidence, Scope를 평가하는 HDS6 프로세스 검증 시스템을 통합하여 체계적인 탐구 과정을 지원합니다.
  • 3연구 결과, AAV capsid design과 Drug Repurposing 분야에서 기존 SOTA를 능가하는 성과를 보이며, 모델의 추론 능력을 넘어선 실질적인 과학적 발견을 위한 새로운 AI 평가 패러다임을 제시했습니다.

본 논문은 인공지능이 단순한 문제 풀이(Problem solving)를 넘어 실제 세상의 복잡하고 개방형(Open-ended)인 도전 과제를 해결하도록 유도하는 프레임워크인 Apodex Discovery를 제안합니다. 저자들은 인공지능이 달 탐사 임무(Apollo program)처럼 명확한 목표, 시스템 아키텍처, 검증 매커니즘, 그리고 지속적인 수정을 통해 실질적인 과학적·산업적 발견(Discovery)을 수행해야 한다고 강조합니다.

핵심 방법론 및 아키텍처

본 연구의 핵심은 Heavy-Duty Solver(HDS) 개념과 이를 평가하기 위한 TRACES 벤치마크입니다.

  1. Heavy-Duty Solver (HDS): 단순히 거대 언어 모델(Foundation model)만 사용하는 것이 아니라, 문제 해결을 위한 하네스(Harness), 도구(Tools), 제어 정책(Control policies)을 포함한 완전한 운영 시스템입니다. HDS는 상태(Stateful)를 유지하며 장기적인 조사를 수행하고, 외부 환경과 상호작용하며 자가 수정(Self-correction) 능력을 발휘합니다.
  2. 4대 인프라 구성:
    • Problem Manifest: 모호한 야망을 명확한 목적, 제약 조건, 중간 단계의 과제, 성공 기준을 포함한 실행 가능한 계약으로 변환합니다.
    • Reality-Based Environment: solver가 데이터와 도구에 접근하여 행동하고, 그에 따른 새로운 관측값(피드백, 실험 결과 등)을 반환하는 환경입니다.
    • Verification Mechanisms: 크게 Outcome Verification(최종 결과 및 중간 단계 산출물 검증)과 Process Verification(HDS6 기반의 과정 평가)으로 나뉩니다.
    • Repair Loops: 검증 결과를 바탕으로 solver가 실패를 인지하고 가설을 수정하며 다시 도전하는 피드백 루프를 제공합니다.
  1. HDS6 (Heavy-Duty Solver Six Capabilities): TRACES 벤치마크의 핵심인 과정 평가 지표로, 다음 6가지 역량을 평가합니다:
    • Tools: 외부 도구의 올바른 선택 및 해석
    • Repair: 실패 후 수정 및 확정
    • Alternatives: 경쟁 가설의 명시 및 검증
    • Coherence: 장기적인 논리적 일관성 및 상태 유지
    • Evidence: 관측 데이터 및 실험 결과에 근거한 주장
    • Scope: 결론의 적용 범위 및 한계 식별

평가 및 성과

  • TRACES 벤치마크: 561개 산업군을 조사하여 선별한 20개의 고가치 실제 문제를 포함합니다. AAV(Adeno-associated virus) 캡시드 설계 문제에서 Apodex는 생존성, Tropism, 구조 예측, 생성적 설계 등 4개 영역에서 기존 SOTA(State of the art) 성능을 7% 상회했습니다.
  • Drug Repurposing & Reformulation: 전문적인 생물의학 환경(Biomedical environment) 도입을 통해 GPT-5.5와 GPT-5.6-sol의 예측 점수를 각각 2.5점, 7.6점 개선했습니다.
  • 저자들은 고정된 환경 인터페이스를 통해 모델, 하네스, 에이전트 루프 등 solver의 각 구성 요소가 성능에 미치는 영향을 분리하여 평가할 수 있음을 증명했습니다.

결론적으로 Apodex Discovery는 인공지능이 단순히 미리 정의된 벤치마크를 푸는 수준을 넘어, 증거에 기반한 자가 수정 과정을 통해 실제적인 과학적·기술적 발견을 수행할 수 있는 새로운 발견형 AI(Discoverative AI) 시대를 열고자 합니다.