인터랙티브 평가를 향한 벤치마크의 진화

LLM은 도구, 환경, 사용자, 다른 에이전트와 함께 작동하도록 설계되었으나, 기존 벤치마크는 응답 중심의 평가에 의존한다. 인터랙티브 평가는 인터랙션 생성 트래젝토리를 증거로 삼아 프로세스, 복구성, 조정성, 강건성, 시스템 수준의 성능을 평가하는 패러다임으로 진화한다. 이로써 벤치마크 간 비교 가능성과 실세계 적용 가능성이 향상된다.

출발점: 전통적 벤치마크는 고정 입력-단일 출력의 평가를 가정하고, 이는 LLM이 도구나 환경, 사람과 상호작용하는 실제 상황과 괴리된다. 기존 접근은 입력-출력 구간의 한계를 넘어서는 증거가 부족하고, 트래젝토리의 흐름(입력-상태-출력의 연속적 기록)을 평가에 반영하지 못한다. 해결 원리: 인터랙션-생성 트래젝토리를 증거로 삼아 평가를 수행하고, 이를 통해 프로세스의 질, 회복성, 에이전트 간 조정, 시스템 차원의 성능을 측정한다. 달라지는 점: 두 축의 분류 체계로 평가 프로그램을 구조화하고, 도구 사용, 환경, 에이전트 간 상호작용 등 현실적 맥락에서의 성능을 정량화한다. 이 접근은 다양한 시나리오에서 벤치마크의 한계를 재현하고, 실세계 응용에 필요한 신뢰성과 재현성을 높인다.

개념적 프레임워크를 제시하기 위한 구성단계는 다음과 같다. 입력-환경-에이전트의 상호작용으로부터 증거를 수집하는 인터랙티브 평가 인프라를 구성한다. 첫째, 증거는 인터랙션 생성 트래젝토리이며, 둘째, 평가는 프로세스, 복구성, 조정성, 강건성, 시스템 수준의 성능을 다각도로 측정한다. 셋째, 두 축의 taxonomy를 활용하여 평가 프로그램을 분류·설계하고, 넷째, 디자인 원칙과 보고 표준을 제시하여 비교 가능성과 재현성을 확보한다. 다섯째, 대표적 시나리오를 분석하고 트래젝토리 차원의 장단점을 도출한다.

본 논문은 벤치마크의 진화 방향과 프레임워크를 제시하는 위치 기반 논문으로, 구체적 실험 결과를 제시하지 않는다.

단락 1: 전체 아키텍처 구조 — 인터랙티브 평가 인프라가 도구/환경/에이전트/사용자 간의 상호작용을 수용하게 설계되며, 증거는 인터랙션 생성 트래젝토리로 수집된다. 단락 2: 핵심 메커니즘의 수학적/알고리즘적 기반 — 트래젝토리 기반 증거를 통해 다차원 점수 체계(프로세스 품질, 복구성, 조정성, 시스템 수준 성능)를 구성하고, 두 축의 taxonomy에 따라 평가 프로그램의 구성 요소를 계층화한다. 단락 3: Prior work 대비 기술적 차별점 — 기존 고정 입력-출력 벤치마크와 달리 인터랙션 흐름을 증거로 삼고, 시스템 수준의 성능까지 확장 평가한다. 단락 4: 구현 및 학습 세부사항 — 평가 인프라의 구체적 구성, 데이터 수집, 지표 정의, 재현성 확보를 위한 프로토콜 제시.