LLM의 실제 업무 수행 능력을 검증하는 오픈소스 파이프라인 및 대시보드

작성자가 실무 중심의 평가 방식을 제안한 것에 대해 긍정적인 반응이 예상되며, 실제 업무 과업 평가 방식에 대한 다른 개발자들의 의견을 구하고 있다.

• LLM 도입 전 단순 벤치마크 점수보다 실제 업무 산출물 생성 능력을 먼저 테스트해야 한다.
• GitHub Actions를 활용하면 LLM 평가 파이프라인을 저비용으로 자동화하여 운영할 수 있다.

• LLM 평가 기준이 단순 추론에서 실제 업무 산출물 생성 능력으로 이동해야 한다.
• YAML과 GitHub Actions를 활용해 LLM 성능 실험의 재현성과 자동화를 달성할 수 있다.
• GDPVal RealWorks는 55개 직업군의 실무 과업을 통해 모델의 현업 적용 가능성을 구체적으로 검증한다.