구글, Android Bench 개편해 최신 LLM 8종과 비용·효율성 지표 추가

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

코드 생성이 LLM의 핵심 응용으로 자리잡은 가운데 모델별 개발 작업 성능 차이를 정량화하기 위해 구글이 Android Bench를 개편했다. 이 벤치는 안드로이드 개발 과제 100개를 사용해 에이전트의 출력 정확도와 실행 가능성을 평가하며 최근 비용·효율성 지표와 오픈 웨이트 모델 지원을 추가해 실무적 판단 근거를 확장했다. 아울러 리더보드에 Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max 등 여덟 개 모델을 포함시켜 비교 대상을 넓혔고 개발자가 자체 테스트를 실행해 피드백을 제출할 수 있도록 했다. 이러한 변화는 단순 성능 비교를 넘어 비용과 효율성을 고려한 도구 선택 근거를 제공함으로써 벤치의 실용적 가치와 재현 가능성을 높일 것으로 보인다.

섹션별 상세

코드 생성이 LLM의 주요 응용으로 떠오른 가운데 모델별로 개발 작업 수행 능력 차이가 크다는 문제가 부각되었다. Android Bench는 안드로이드 개발 과제 100개를 실행해 에이전트별 정량적 성능을 산정하는 방식으로 입력을 테스트 케이스로 삼고 출력의 정답성·실행 가능성을 기준으로 점수를 매긴다. 원문에는 이 벤치가 100개 과제 기반이라는 구체적 수치와 함께 3월 론칭 후 비용과 효율성 같은 추가 지표를 도입했다고 명시되어 있다. 이러한 구성은 단순 정확도 비교를 넘어 실무적 비용 대비 성능을 판단할 수 있게 하여 도구 선택의 실용적 근거를 제공한다.

근거

Android Bench는 100개의 Android 개발 과제를 기반으로 에이전트 성능을 측정한다. — 첫 문단 및 두 번째 문단에서 벤치의 평가 대상과 과제 수 언급 출처

구글은 벤치의 사용성을 높이기 위해 프레임워크 개편과 함께 여덟 개의 최신 모델을 리더보드에 추가해 비교 대상을 확장했다. 추가된 모델 목록에는 Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max가 포함되어 있어 오픈·클로즈드 가중치 모델을 아우르는 비교가 가능하다. 원문은 개발자가 자체 테스트를 실행해 피드백을 제출할 것을 권장한다고 밝히며 이 피드백이 벤치의 향후 변화에 영향을 줄 수 있다고 적시했다. 모델군 확장은 벤치의 대표성 확대와 실무적 선택 기준 정교화로 이어져 벤치마크 결과의 실용적 가치가 커질 것으로 예상된다.

근거

구글은 Android Bench 업데이트에서 Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max 등 여덟 개 모델을 리더보드에 추가했다. — 세 번째 문단의 모델 목록 출처

용어 해설

Open-weight model: — 모델 가중치를 공개해 외부에서 자유롭게 로드하고 재학습하거나 벤치마크에 직접 투입할 수 있는 언어모델을 의미한다. 이 방식은 모델 내부를 검증하고 자체 인프라에서 성능을 재현할 수 있게 함으로써 벤치마크의 공정성과 재현성을 높인다. Android Bench 업데이트 맥락에서는 오픈 웨이트 모델이 포함되어 비교 대상과 비용·효율성 평가가 확장되었다는 점이 중요하다.
Benchmarking: — 특정 작업 집합에 대해 모델의 성능을 체계적으로 측정하는 절차로서 입력 샘플, 평가 지표, 점수화 방식이 정의되어야 한다. Android Bench는 100개의 안드로이드 개발 과제를 기준으로 에이전트 성능을 비교하는 벤치마크로서 정확도 외에 비용과 효율성 지표를 추가해 평가 범위를 확장했다. 벤치마킹은 도구 선택과 최적화 우선순위를 결정하는 근거가 된다.
Cost and efficiency metrics: — 모델이나 에이전트가 특정 작업을 수행할 때 소모되는 컴퓨팅 비용과 시간 대비 산출물 품질을 함께 평가하는 지표군을 가리킨다. Android Bench는 기존 정확도 중심 평가에 더해 이러한 지표를 포함하여 실무 관점에서의 유용성을 측정하도록 확장되었다. 비용·효율성 지표는 대규모 모델 운영과 선택에 직접적인 경제적 판단 근거를 제공한다.
Code generation: — 자연어 입력을 바탕으로 코드 스니펫이나 전체 기능을 생성하는 LLM의 응용 분야로서 입력 이해, API 사용, 빌드·런타임 고려가 필요하다. Android Bench는 안드로이드 앱 개발 과제를 통해 코드 생성 능력과 연관된 실무적 요소들을 평가하여 모델별 강·약점을 비교한다. 코드 생성 평가는 단순 문장 예측을 넘어 실행 가능한 출력과 통합성 검증이 핵심이다.