GDPVal 벤치마크 기반 실무 과업 수행 능력 평가 오픈소스 파이프라인

작성자가 자신의 프로젝트를 공개하며 실무 과업 평가 방식에 대한 커뮤니티의 의견을 구하고 있으며, 초기 단계임에도 불구하고 구체적인 실행 파이프라인을 제시하여 관심을 끌고 있습니다.

• LLM 성능 평가 시 YAML 설정을 통해 실험 환경을 코드화하여 관리하면 재현성을 높일 수 있습니다.
• GitHub Actions를 활용하여 모델 업데이트 시마다 벤치마크를 자동으로 실행하는 CI/CD 환경을 구축하세요.

• 작성자는 모델이 단순히 정답 토큰을 맞추는 것보다 다단계 과업을 완수하고 실제 도구를 호출하는 능력이 실무 도입의 핵심이라고 강조합니다.

• LLM 평가 기준을 단순 추론에서 실제 업무 산출물 생성 능력으로 확장해야 합니다.
• YAML 기반 설정과 GitHub Actions를 활용해 벤치마크 실행의 재현성(Reproducibility)을 확보했습니다.
• 55개 직업군의 220개 과업을 통해 모델의 다단계 작업 수행 능력을 정밀하게 측정합니다.