Orion 2, 코드 실행을 결합한 최첨단 시각 에이전트

게시물 작성자가 VLM Run 소속임을 밝힌 상태에서 커뮤니티는 접근 방식에 관심을 보이는 동시에 내부 벤치마크의 세부 수치 부재에 대한 회의적 반응을 보였다. 일부 사용자는 코드 기반 오케스트레이션의 검사 가능성과 디버깅 이점을 긍정적으로 평가했고 멀티턴 상호작용 지원을 실용적이라고 판단했다. 반면에 벤치마크의 재현 가능성과 구체적 성능 지표가 공개되어야 실제 비교와 채택이 용이하다는 지적이 다수 제기됐다.

• 이미지 기반 작업에서 응답 지연을 낮추고 워크플로를 재현 가능하게 하려면 출력 텍스트만 반환하는 방식 대신 실행 가능한 형태의 처리 파이프라인을 자동 생성해 테스트하는 것이 유리하다. 생성된 코드를 로그와 버전 관리 시스템에 저장하면 디버깅과 재현성이 향상되고 구성요소의 교체 테스트가 쉬워진다. 다만 벤치마크나 성능 비교를 수행할 때는 동일 입력과 데이터셋을 외부에 공표해 타 연구와 직접 비교할 수 있도록 해야 한다

Multimodal

— 텍스트와 이미지 등 서로 다른 입력 유형을 동시에 처리하는 모델 계열을 말한다. 입력으로 들어온 시각 데이터를 특징 벡터로 변환하고 텍스트 모듈과 결합해 추론을 수행하는 구조가 일반적이며 본문에서는 시각적 이해와 코드 생성을 결합해 작업을 수행하는 맥락에서 중요하다.

Visual Coding

— 이미지나 비디오를 대상으로 코드 형태의 프로그램을 생성해 특정 비전 작업을 자동화하는 접근법이다. 본문에서는 에이전트가 텍스트 지시에서 시각 처리 파이프라인을 코드로 작성하고 즉시 실행하는 방식으로 지연을 줄이는 핵심 방법으로 사용됐다.

Spatial Reasoning

— 이미지 내 객체들 간의 위치 관계와 공간적 구성을 이해하고 논리적 결론을 도출하는 능력이다. 본문에서는 픽셀 수준의 이해와 결합되어 객체의 정확한 위치 기반 태스크 수행과 정밀한 그라운딩에 사용됐다.

Programmatic Orchestration

— 툴을 순차적으로 호출하는 대신 에이전트가 실행 가능한 코드로 워크플로를 구성하고 실행하는 방식이다. 이 방식은 워크플로의 조합성, 검사 가능성, 결정론적 실행을 확보해 디버깅과 재현성을 높이는 데 기여한다.

Evaluation Harness

— 여러 모델과 접근법을 동일한 기준으로 평가하기 위해 마련한 테스트 및 상호작용 환경이다. 본문에서는 멀티턴 추론과 상호작용을 지원하는 하니스가 프론티어 모델과 오픈소스 모델 간 성능 격차를 줄이는 역할을 한 것으로 서술됐다.