Global App Testing, 인간 중심 AI 평가 서비스 'AI GroundTruth' 출시

섹션별 상세

Global App Testing은 자동화된 벤치마크의 한계를 극복하기 위해 실제 인간 테스터가 AI 시스템을 평가하는 'AI GroundTruth' 서비스를 출시했다. 전 세계 190개국에 걸친 12만 명의 전문 테스터 네트워크를 활용하여 AI 출력물의 품질을 다각도로 검증한다.

평가는 단순한 정확도 측정을 넘어 문화적 적합성, 안전성, 신뢰성 등 인간의 맥락 이해가 필요한 영역에 집중한다. 특히 테스터가 시스템을 고의로 무너뜨리려는 적대적 테스트(Adversarial Testing)를 포함하여 모델의 견고함을 실전 수준에서 확인한다.

MWC 2026에서 발표된 이 서비스는 AI 에이전트를 프로덕션 환경에 도입하려는 기업들의 수요를 반영한다. 많은 기업이 자동화 도구만으로는 파악하기 힘든 미묘한 오류를 발견하기 위해 내부 평가 인력을 고용하는 대신, 확장성 있는 외주 서비스를 통해 비용과 시간을 절감할 수 있다.

용어 해설

적대적 테스트(Adversarial Testing): — AI 시스템의 보안과 안정성을 검증하기 위해 테스터가 의도적으로 공격적이거나 비정상적인 입력을 제공하여 시스템의 오작동을 유도하는 테스트 방식이다. 자동화된 도구가 발견하지 못하는 모델의 취약점과 잠재적 위험 요소를 실전과 유사한 환경에서 파악하는 데 필수적이다.
자동화 벤치마크(Automated Benchmark): — 사전에 정의된 데이터셋과 평가 지표를 활용하여 AI 모델의 성능을 기계적으로 측정하는 방식이다. MMLU나 HumanEval 같은 도구가 대표적이며, 대규모 모델의 성능을 빠르게 비교할 수 있으나 실제 사용자가 겪는 복잡한 맥락이나 주관적인 품질을 완벽히 평가하기에는 한계가 있다.
인간 참여형 루프(Human-in-the-loop): — AI 모델의 학습이나 평가 과정에 인간이 직접 개입하여 피드백을 제공하고 결과를 검증하는 시스템 설계 방식이다. 자동화된 알고리즘이 판단하기 어려운 윤리적 문제, 문화적 뉘앙스, 창의적 품질 등을 보완하여 AI 시스템의 신뢰성과 정확도를 높이는 핵심적인 역할을 수행한다.

기술

AI GroundTruth

활용 사례

AI 에이전트 실전 배포 전 검증
글로벌 서비스의 문화적 적합성 테스트
AI 모델 보안 및 안전성 레드팀 테스트

언급된 리소스

문서Global App Testing