챕터별 상세
배경 및 문제 정의
우승자 Eduardo는 전자 공학 및 데이터 과학 배경을 가진 Senior Data Scientist이다. 이번 대회에서 로컬 LLM의 품질을 개선하여 GitHub 이슈를 해결하는 데 집중했다. 특히 Kaggle 환경의 제한된 시간(샘플당 평균 7분) 내에 효율적으로 작동하는 솔루션 구축이 핵심 과제였다.
Agentless 프레임워크 채택 및 최적화
자율 에이전트 기반 방식보다 시간 효율적이고 제어가 용이한 Agentless 프레임워크를 선택했다. 로컬 모델인 Qwen 2.5 Coder 32B에서 실행되도록 코드를 수정했다. 시간 소모가 크지만 이득이 적은 프로세스(예: 임베딩 기반 시맨틱 검색)를 제거하여 실행 속도를 최적화했다.
Agentless는 복잡한 자율 에이전트 루프 대신 검색, 편집, 검증의 단계별 프로세스를 사용하는 프레임워크이다.
파이프라인 개요 및 F2P 테스트 생성
전체 파이프라인은 F2P(Fail-to-Pass) 테스트 생성, 복구 패치 생성, 테스트 실행, 최종 제출의 4단계로 구성된다. 먼저 리포지토리의 파일 구조 스켈레톤을 생성하고 LLM에게 관련 유닛 테스트와 함수 시그니처를 식별하게 한다. 이를 바탕으로 이슈를 재현할 수 있는 5개의 F2P 테스트 샘플을 생성했다.
F2P(Fail-to-Pass) 테스트는 현재 코드에서는 실패하지만 버그가 수정되면 통과해야 하는 테스트 케이스이다.
복구 패치 후보 생성 및 검증
이슈 해결과 관련된 코드 파일과 함수 시그니처를 식별한 후 수정이 필요한 라인 번호를 예측하는 Fine-grained 편집 샘플을 생성한다. 총 8개의 복구 패치 후보를 생성하여 다양성을 확보했다. 생성된 패치들은 앞서 만든 F2P 테스트와 기존 유닛 테스트(P2P)를 모두 통과해야만 최종 제출 후보가 된다.
P2P(Pass-to-Pass) 테스트는 기존에 통과하던 테스트가 수정 후에도 여전히 통과하는지 확인하여 리그레션을 방지하는 절차이다.
로컬 모델을 위한 컨텍스트 주입의 중요성
GPT-4와 같은 Frontier 모델은 이미 많은 오픈소스 리포지토리를 암기하고 있어 컨텍스트 없이도 테스트를 잘 생성하지만 로컬 모델은 그렇지 못하다. 이를 해결하기 위해 F2P 생성 단계에서 리포지토리 정보, 관련 임포트, 코드 시그니처 등 3단계 컨텍스트를 명시적으로 제공했다. 이 변경 사항이 로컬 모델의 성능을 비약적으로 향상시킨 핵심 요인이었다.
로컬 모델은 학습 데이터에 포함되지 않은 최신 리포지토리 구조를 파악하는 능력이 부족할 수 있어 명시적인 정보 제공이 필수적이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 21.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
