OpenEnv: GRPO를 활용한 기업용 이메일 관리 LLM 학습

요약 브리프

OpenEnv는 기업 이메일 관리를 위한 AI 에이전트 학습 프레임워크로, GRPO 알고리즘을 통해 이메일의 긴급도를 판단하고 적절히 대응하는 능력을 학습시킵니다. 유의어 기반 채점과 우선순위 평가 모델을 통해 Qwen2.5-1.5B 모델의 성능을 2배 이상 향상시켰으며, 실제 장애 대응 및 고객 응대 자동화의 가능성을 보여주었습니다.

새로운 점

단순 분류를 넘어 켄달 타우(Kendall Tau) 지표를 활용한 우선순위 기반 보상 체계와 유의어 인식 채점 방식을 도입하여 에이전트의 실무 판단력을 극대화했습니다.

핵심 메커니즘

이메일 데이터 입력 → GRPO 기반 다중 응답 생성 → 유의어/우선순위/조밀 보상 함수 평가 → 정책 업데이트 → 최적의 이메일 처리 액션 출력

핵심 수치

• Average Score (Before vs After): 0.38 → 0.82- Qwen2.5-1.5B 모델 기준
• Task 1 (Easy) Score: 0.92- 학습 후 달성 수치
• Task 3 (Hard) Score: 0.74- 기존 0.31 대비 대폭 향상