Qwen2.5-Coder-7B 파인튜닝을 통한 코드 데이터셋 생성 및 벤치마크 실험 결과

실용적 조언

LiveCodeBench 성능을 높이려면 input()과 print()를 포함한 전체 프로그램 형식으로 데이터를 구성해야 한다.
데이터 생성 프롬프트 작성 시 필터를 너무 많이 넣지 말고 핵심 요구사항 위주로 간결하게 작성하여 승인율을 높여라.

섹션별 상세

HumanEval 지표는 크게 상승했으나 LiveCodeBench(LCB)에서는 오히려 성능 퇴보가 관찰됐다. 이는 학습 데이터가 함수 반환 형식으로 구성된 반면, LCB는 표준 입출력(stdin/stdout)을 포함한 전체 프로그램을 요구했기 때문에 발생한 형식 불일치 문제로 확인됐다. 모델의 논리적 지식 부족이 아닌 출력 구조의 차이가 벤치마크 점수 하락의 원인이었음을 밝혀냈다.

BigCodeBench(BCB) 점수가 거의 변하지 않은 이유는 데이터 카테고리의 구체성 부족으로 분석됐다. 기존 데이터셋의 '데이터 라이브러리' 카테고리가 너무 일반적인 라이브러리 조합만 다루어, 정교한 API 호출과 특정 인자(kwargs) 사용을 테스트하는 BCB의 요구사항을 충족하지 못했다. 이를 해결하기 위해 BCB의 분류 체계를 반영한 후속 데이터 생성을 진행 중이다.

데이터 생성 과정에서 생성 모델보다 판단 모델(Judge Model)의 선택이 품질에 더 큰 영향을 미친다는 사실을 발견했다. 성능이 낮은 판단 모델은 오류가 있는 데이터를 무분별하게 승인하거나, 이해하지 못하는 데이터를 대거 삭제하여 데이터 다양성을 해치는 경향을 보였다. 적절한 크기와 추론 능력을 갖춘 판단 모델을 선정하는 것이 합성 데이터셋 구축의 핵심임을 확인했다.

카테고리 설명 프롬프트를 지나치게 상세하게 작성할 경우 오히려 데이터 생성 승인율이 급감하는 현상이 나타났다. 초기 프롬프트에 너무 많은 필터를 적용했을 때는 승인율이 10% 수준이었으나, 설명을 간결하게 수정하자 85%까지 상승했다. 과도한 제약 조건이 모델의 창의적 생성을 방해하고 판단 모델의 거절 빈도를 높인다는 실무적 교훈을 얻었다.

용어 해설

휴먼이벨(HumanEval): — OpenAI가 공개한 파이썬 코드 생성 성능 평가 벤치마크이다. 모델이 함수 시그니처와 독스트링을 입력받아 단위 테스트를 통과하는 코드를 작성할 수 있는지 측정하며, 코드 모델의 기초적인 논리력을 평가하는 척도로 널리 쓰인다.
라이브코드벤치(LiveCodeBench): — 실시간으로 업데이트되는 프로그래밍 문제를 통해 모델의 코드 생성 능력을 평가하는 벤치마크이다. 학습 데이터 오염 문제를 방지하기 위해 최신 코딩 테스트 문제를 활용하며, 입출력 형식을 포함한 완전한 프로그램 작성을 요구하는 것이 특징이다.
판단 모델(Judge Model): — 생성된 데이터나 모델의 응답 품질을 평가하기 위해 사용하는 별도의 AI 모델이다. 데이터셋 생성 과정에서 합성 데이터의 정확성을 검증하거나 필터링하는 역할을 수행하며, 이 모델의 성능에 따라 전체 데이터셋의 품질이 결정된다.
형식 불일치(Format Mismatch): — 모델이 학습한 출력 형식과 평가 벤치마크가 요구하는 형식이 서로 달라 성능이 낮게 측정되는 현상이다. 예를 들어 모델은 함수 반환값만 출력하도록 학습되었으나 벤치마크는 표준 입출력을 요구할 경우, 논리가 정답이라도 오답으로 처리된다.

언급된 도구

Qwen2.5-Coder-7B-Instruct추천

파인튜닝 대상이 된 베이스 코드 언어 모델

언급된 리소스

문서OctoBench-2.2k Dataset

문서Fine-tuned Model on Hugging Face

GitHubDataset Generator GitHub Repository