Dingo v2.1.0 출시: 데이터 품질 평가를 위한 SaaS 플랫폼 및 신규 기능 공개

커뮤니티 반응

대체로 긍정적이며, 특히 로컬 설정 없이 바로 사용할 수 있는 SaaS 플랫폼의 출시와 VLM을 활용한 새로운 평가 방식에 대해 관심이 높다.

실용적 조언

로컬 환경 구축 없이 dingo.openxlab.org.cn에서 데이터 품질을 즉시 평가할 수 있다.
OCR 성능 검증 시 단순 텍스트 비교 대신 VLMRenderJudge를 사용하여 시각적 레이아웃 오류를 잡아낼 수 있다.
RAG 시스템 구축 시 내장된 5가지 지표를 활용하여 답변의 충실도와 컨텍스트 관련성을 정량적으로 측정할 수 있다.

섹션별 상세

Dingo SaaS 플랫폼은 데이터 품질 평가의 진입 장벽을 낮추기 위해 설계되었다. 사용자는 JSONL, CSV, HuggingFace 데이터셋을 웹 브라우저에 직접 업로드하여 평가를 수행할 수 있다. 실험 관리와 상세 보고서 확인 기능이 포함되어 있으며, API 키를 발급받아 기존의 CI/CD 파이프라인에 자동화된 평가 프로세스를 통합하는 것도 가능하다.

Agent-as-a-Judge 기능은 단순한 텍스트 비교를 넘어선 지능형 평가를 지향한다. 자율 평가 에이전트는 ArXiv 검색과 같은 도구를 활용하여 생성된 텍스트의 사실 관계를 외부 소스와 대조한다. 특히 클레임 추출 기술을 통해 복잡한 문장에서 검증 가능한 사실을 분리하고 이를 학술 데이터와 비교하여 정확도를 산출한다.

시각적 문서 이해 능력을 평가하기 위해 VLMRenderJudge 지표가 도입되었다. 기존 OCR 평가는 텍스트 일치도에 의존했으나, 이 기능은 VLM이 원본 이미지와 렌더링된 결과를 직접 시각적으로 대조한다. 이를 통해 레이아웃 붕괴나 미세한 파싱 오류 등 텍스트만으로는 발견하기 어려운 품질 문제를 효과적으로 식별한다.

RAG 시스템의 신뢰성을 보장하기 위한 5가지 핵심 지표가 프레임워크에 내장되었다. 답변이 컨텍스트에 얼마나 충실한지 측정하는 Faithfulness와 검색된 문서의 관련성을 평가하는 Context Relevancy 등이 포함된다. 이러한 지표들은 RAG 파이프라인의 각 단계에서 발생하는 성능 저하 요인을 정밀하게 진단하는 데 도움을 준다.

용어 해설

에이전트 기반 평가(Agent-as-a-Judge): — LLM 에이전트가 평가자가 되어 자율적으로 도구를 사용하고 판단을 내리는 평가 방식이다. 단순히 정답지와 비교하는 것이 아니라 외부 검색 등을 통해 사실 관계를 검증하므로 평가의 객관성과 심층성을 높이는 데 기여한다.
시각 언어 모델(VLM): — 텍스트와 이미지를 동시에 처리하고 이해할 수 있는 멀티모달 인공지능 모델이다. 문서의 시각적 레이아웃이나 이미지 속 정보를 텍스트와 연계하여 분석할 수 있어 OCR 품질 평가나 복합 문서 이해에 필수적인 역할을 한다.
RAG 평가 지표(RAG Metrics): — 검색 증강 생성 시스템의 성능을 측정하기 위한 특화된 지표들의 집합이다. 답변의 근거가 되는 문서와의 일치도(Faithfulness)나 검색된 정보의 유용성(Precision/Recall) 등을 수치화하여 시스템의 취약점을 파악하게 해준다.

코드 예제

bash

pip install dingo-python

Dingo SDK 설치를 위한 파이썬 패키지 매니저 명령어

언급된 도구

Dingo추천링크

데이터 품질 평가 프레임워크 및 SaaS 플랫폼

언급된 리소스

DemoDingo SaaS Platform

GitHubDingo GitHub Repository

문서Dingo PyPI Project