InteractWeb-Bench: 멀티모달 에이전트는 대화형 웹사이트 생성에서 맹목적 실행을 벗어날 수 있는가?

기존 웹사이트 생성 벤치마크는 정제된 지시사항을 가정하지만, 실제 사용자는 모호하거나 모순된 요구사항을 제시하는 경우가 많습니다. 이 논문은 에이전트가 사용자의 의도를 능동적으로 파악하지 않고 코드를 생성하는 '맹목적 실행' 문제를 지적하며, 이를 평가하기 위한 최초의 멀티모달 대화형 벤치마크를 제시합니다.

기존의 코드 생성 에이전트는 주어진 텍스트 임베딩을 바탕으로 즉시 최적의 코드를 출력하도록 학습된 '일방향적 실행' 구조를 가집니다. 하지만 실제 환경에서는 입력된 지시사항의 정보량이 부족하거나(Incompleteness) 논리적 모순(Contradiction)이 존재할 때, 에이전트가 이를 인지하지 못하고 잘못된 방향으로 최적화를 진행하는 'Blind Execution' 함정에 빠지게 됩니다.

이 논문은 에이전트의 의사결정 과정을 단순한 '텍스트-투-코드' 변환이 아닌, '의도 명확화-구현-시각적 검증'의 반복적인 루프로 재정의합니다. 에이전트는 불확실성이 높은 상태(High Entropy)에서 바로 구현(Implement)을 선택하는 대신, 사용자에게 질문(Clarify)을 던져 정보의 공백을 메우거나 렌더링된 UI를 시각적으로 확인(Verify)하여 자신의 가설을 수정해야 합니다.

결과적으로 에이전트는 단순히 지시를 따르는 수동적 도구에서 벗어나, 시각적 피드백과 대화를 통해 사용자의 실제 의도(Ground Truth)에 정렬(Alignment)해 나가는 능동적 협업자로 진화해야 함을 강조합니다. 실험 결과 최신 MLLM들도 여전히 질문보다는 과도한 코드 생성을 통해 문제를 해결하려다 환각 현상을 일으키는 한계가 있음이 확인됐습니다.

InteractWeb-Bench는 에이전트의 자율적 행동을 평가하기 위해 비선형적 궤적 역학을 가진 대화형 환경을 사용합니다. 에이전트는 매 단계마다 현재 관찰값과 내부 추론을 바탕으로 {Clarify, Implement, Verify, Submit} 중 하나의 액션을 동적으로 선택합니다. [현재 상태 s_t 입력 → 정책 네트워크 pi_M 연산 → 행동 a_t 출력 → 환경 변화 및 피드백 수신]

사용자 시뮬레이션은 DeepSeek-V3.2를 활용하며, 요구사항 공학 결함 분류 체계에 따라 원본 지시사항을 변형합니다. 예를 들어 P-MIN 페르소나는 핵심 기능만 남기고 세부 제약을 제거하며, P-CON은 상호 배타적인 제약을 주입합니다. [원본 지시사항 I* 입력 → 페르소나 변이 연산자 적용 → 변형된 지시사항 I_mutated 생성]

검증 단계(Verify)에서는 에이전트가 스스로 테스트 기준 블록을 작성하고 Playwright 기반 브라우저에서 GUI 검사를 수행합니다. 환경은 터미널 UI 스크린샷, 브라우저 콘솔 오류, 시각적 기준 미달 사유를 포함한 복합 멀티모달 피드백을 에이전트에게 반환합니다. [테스트 기준 입력 → GUI 내비게이션 실행 → 시각적/로그 데이터 수집 → 구조화된 검증 결과 출력]

최신 MLLM 기반 에이전트들을 대상으로 실험한 결과, 가장 성능이 우수한 Qwen3.6-Plus조차 작업 완료율(TCR) 38.78%에 그쳐 현실적인 대화형 환경에서의 한계를 드러냈습니다. 특히 모든 모델이 정보가 누락된 P-MIN 설정에서 성능이 크게 하락했으며, 이는 에이전트가 부족한 정보를 질문으로 채우기보다 임의로 추측하여 코드를 생성하는 경향이 강하기 때문으로 분석됐습니다.

에이전트들은 전반적으로 높은 의도 정렬 점수(IAS 3.90 이상)를 기록했음에도 불구하고, 실제 질문 적중률(CHR)은 40% 미만으로 나타났습니다. 이는 모델이 사용자의 의도를 대략적으로는 이해하지만, 구체적으로 어떤 정보가 누락되었는지 식별하여 질문하는 능력은 부족함을 의미합니다. 대신 모델들은 평균 1,000라인 이상의 방대한 코드를 생성하며 누락된 요구사항을 보완하려 시도했고, 이 과정에서 60% 이상의 높은 환각률(Hallucination Rate)을 보였습니다.

시각적 품질 면에서는 Kimi-K2.5가 레이아웃과 창의적 정렬에서 가장 높은 점수를 받았으나, 대부분의 모델이 텍스트 겹침이나 컨테이너 넘침과 같은 미세한 시각적 버그(VBR 10% 내외)를 완전히 제거하지 못하는 '심미적 천장 효과'를 보였습니다.

InteractWeb-Bench의 핵심 아키텍처는 페르소나 기반 사용자 에이전트 모듈과 대화형 실행 환경으로 구성됩니다. 사용자 에이전트는 정보 은닉(Information Containment) 파이프라인을 통해 에이전트가 명시적으로 요청한 정보만 제공함으로써 정보 유출을 방지하고 엄격한 평가를 보장합니다.

평가 지표인 TCR은 각 작업을 원자적 제약 조건인 Oracle Slots(대상 컴포넌트, 예상 결과, 단언 타입)으로 분해합니다. 슬롯 가중치 계산 시 정적 요소(1.0), 상호작용 요소(2.0), 복잡한 로직(3.0)으로 차등화하여 단순한 UI 구현보다 기능적 완성도에 무게를 둡니다. 또한 무분별한 루프를 방지하기 위해 최대 턴 수(T_total)와 연속 검증 오류 제한(T_error)이라는 이중 경계 제약을 적용합니다.

에이전트의 행동 분석을 위해 의도 정렬 점수(IAS), 질문 적중률(CHR), 시각적 신중도 지수(VCI) 등 다각적인 메트릭을 도입했습니다. VCI는 구현 액션 대비 검증 액션의 비율로 정의되어 에이전트가 얼마나 신중하게 자신의 결과물을 검토하는지 측정합니다. 이러한 상세 분석을 통해 모델별로 '과잉 사고(Overthinking)', '위험한 속도(Fast but Risky)', '신중하고 효율적(Cautious and Efficient)' 등의 행동 패턴을 분류했습니다.

본 논문은 에이전트가 맹목적 실행 함정에 빠지는 경향을 명확히 규명했으나, 실험 대상이 특정 최신 MLLM 제품군에 한정되어 있으며, 웹사이트 생성 외의 다른 소프트웨어 공학 도메인으로의 일반화 가능성에 대해서는 추가 연구가 필요함을 언급했습니다.