Qwen2.5-Coder-7B 파인튜닝을 통한 코드 데이터셋 생성 및 벤치마크 실험 결과

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Qwen2.5-Coder-7B 모델을 직접 생성한 2.2k 규모의 데이터셋으로 파인튜닝하여 HumanEval 성능 향상과 벤치마크별 형식 불일치 문제를 확인했다.

배경

작성자가 직접 개발한 데이터셋 생성기를 사용하여 2,248개의 예제를 생성하고 Qwen2.5-Coder-7B-Instruct 모델을 파인튜닝한 후 4종의 벤치마크 결과를 공유했다.

의미 / 영향

코드 모델의 성능은 단순히 데이터 양보다 벤치마크와의 형식적 정렬 및 고품질 판단 모델을 통한 데이터 정제에 크게 의존함이 확인됐다. 커뮤니티는 합성 데이터 생성 시 프롬프트의 복잡성을 줄이고 타겟 벤치마크의 특성을 데이터 구조에 반영하는 전략을 실무 표준으로 받아들이는 추세이다.

커뮤니티 반응

작성자의 실험 결과에 대해 긍정적인 반응이며, 특히 판단 모델 선정 기준과 특정 벤치마크(BCB, LCB) 타겟팅 전략에 대한 추가 논의가 이루어지고 있습니다.

주요 논점

01중립다수

데이터셋 생성 시 판단 모델의 중요성과 프롬프트 엔지니어링의 간결함이 성능에 직결된다.

합의점 vs 논쟁점

합의점

벤치마크와 학습 데이터 간의 포맷 미스매치는 모델의 실제 능력을 왜곡할 수 있다.
데이터 생성 시 판단 모델의 품질이 전체 파이프라인의 병목 현상이 된다.

논쟁점

어떤 크기와 종류의 모델이 판단 모델(Judge Model)로서 가장 비용 효율적인지에 대한 기준

실용적 조언

LiveCodeBench 성능을 높이려면 input()과 print()를 포함한 전체 프로그램 형식으로 데이터를 구성해야 한다.
데이터 생성 프롬프트 작성 시 필터를 너무 많이 넣지 말고 핵심 요구사항 위주로 간결하게 작성하여 승인율을 높여라.

섹션별 상세

HumanEval 지표는 크게 상승했으나 LiveCodeBench(LCB)에서는 오히려 성능 퇴보가 관찰됐다. 이는 학습 데이터가 함수 반환 형식으로 구성된 반면, LCB는 표준 입출력(stdin/stdout)을 포함한 전체 프로그램을 요구했기 때문에 발생한 형식 불일치 문제로 확인됐다. 모델의 논리적 지식 부족이 아닌 출력 구조의 차이가 벤치마크 점수 하락의 원인이었음을 밝혀냈다.

BigCodeBench(BCB) 점수가 거의 변하지 않은 이유는 데이터 카테고리의 구체성 부족으로 분석됐다. 기존 데이터셋의 '데이터 라이브러리' 카테고리가 너무 일반적인 라이브러리 조합만 다루어, 정교한 API 호출과 특정 인자(kwargs) 사용을 테스트하는 BCB의 요구사항을 충족하지 못했다. 이를 해결하기 위해 BCB의 분류 체계를 반영한 후속 데이터 생성을 진행 중이다.

데이터 생성 과정에서 생성 모델보다 판단 모델(Judge Model)의 선택이 품질에 더 큰 영향을 미친다는 사실을 발견했다. 성능이 낮은 판단 모델은 오류가 있는 데이터를 무분별하게 승인하거나, 이해하지 못하는 데이터를 대거 삭제하여 데이터 다양성을 해치는 경향을 보였다. 적절한 크기와 추론 능력을 갖춘 판단 모델을 선정하는 것이 합성 데이터셋 구축의 핵심임을 확인했다.

카테고리 설명 프롬프트를 지나치게 상세하게 작성할 경우 오히려 데이터 생성 승인율이 급감하는 현상이 나타났다. 초기 프롬프트에 너무 많은 필터를 적용했을 때는 승인율이 10% 수준이었으나, 설명을 간결하게 수정하자 85%까지 상승했다. 과도한 제약 조건이 모델의 창의적 생성을 방해하고 판단 모델의 거절 빈도를 높인다는 실무적 교훈을 얻었다.

용어 해설

HumanEval: — OpenAI가 공개한 파이썬 코드 생성 성능 평가 벤치마크이다. 모델이 함수 시그니처와 독스트링을 입력받아 단위 테스트를 통과하는 코드를 작성할 수 있는지 측정하며, 코드 모델의 기초적인 논리력을 평가하는 척도로 널리 쓰인다.
LiveCodeBench: — 실시간으로 업데이트되는 프로그래밍 문제를 통해 모델의 코드 생성 능력을 평가하는 벤치마크이다. 학습 데이터 오염 문제를 방지하기 위해 최신 코딩 테스트 문제를 활용하며, 입출력 형식을 포함한 완전한 프로그램 작성을 요구하는 것이 특징이다.
Judge Model: — 생성된 데이터나 모델의 응답 품질을 평가하기 위해 사용하는 별도의 AI 모델이다. 데이터셋 생성 과정에서 합성 데이터의 정확성을 검증하거나 필터링하는 역할을 수행하며, 이 모델의 성능에 따라 전체 데이터셋의 품질이 결정된다.
Format Mismatch: — 모델이 학습한 출력 형식과 평가 벤치마크가 요구하는 형식이 서로 달라 성능이 낮게 측정되는 현상이다. 예를 들어 모델은 함수 반환값만 출력하도록 학습되었으나 벤치마크는 표준 입출력을 요구할 경우, 논리가 정답이라도 오답으로 처리된다.

언급된 도구

Qwen2.5-Coder-7B-Instruct추천

파인튜닝 대상이 된 베이스 코드 언어 모델

언급된 리소스

문서OctoBench-2.2k Dataset

문서Fine-tuned Model on Hugging Face

GitHubDataset Generator GitHub Repository