핵심 요약
복잡한 에이전트 구조 대신 'Agentless' 접근법을 선택하고, 로컬 모델인 Qwen 2.5 Coder 32B를 정교한 테스트 파이프라인(F2P, P2P)과 결합하여 높은 신뢰도의 코드 수정을 달성했습니다.
배경
100만 달러의 상금이 걸린 Konwinski Prize 대회에서 우승한 Eduardo Rocha de Andrade의 솔루션 발표 영상입니다.
대상 독자
AI 코딩 에이전트, SWE-bench, 로컬 LLM 최적화에 관심 있는 개발자 및 연구자
의미 / 영향
이번 우승 사례는 고가의 API 기반 프론티어 모델 없이도 적절한 파이프라인 설계와 로컬 모델 최적화를 통해 복잡한 소프트웨어 엔지니어링 문제를 해결할 수 있음을 증명했습니다. 특히 'Agentless' 접근법은 추론 비용과 시간을 획기적으로 줄이면서도 높은 정확도를 확보할 수 있는 실전적인 대안을 제시하며 향후 기업 내부의 로컬 AI 코딩 도구 구축에 중요한 참고 자료가 될 것입니다.
챕터별 상세
00:00
발표자 배경 및 대회 제약 사항
발표자 Eduardo는 전자 공학 배경을 가진 데이터 사이언티스트이며 Kaggle에서 오랜 기간 활동했다. 이번 Konwinski Prize 대회에서는 32B 규모의 로컬 LLM만 사용 가능했으며 샘플당 평균 7분의 실행 시간 제한이 있었다. 이러한 제약 조건 하에서 실행 시간을 단축하고 로컬 모델의 품질을 높이는 것이 핵심 과제였다.
- •32B 규모의 로컬 LLM 사용 제한
- •샘플당 평균 7분의 엄격한 런타임 제약
- •실행 시간 최적화와 병렬 처리가 필수적이었음
Konwinski Prize는 SWE-bench 벤치마크에서 90% 이상의 정확도를 달성하는 첫 팀에게 100만 달러를 수여하는 대회로 매우 높은 기술적 난이도를 요구합니다.
02:37
솔루션 개요: Agentless 프레임워크 선택
복잡한 자율 에이전트 방식은 로컬 모델에서 시간이 많이 걸리고 성능이 떨어질 것으로 판단하여 'Agentless' 라이브러리를 기반으로 선택했다. Agentless는 에이전트를 사용하지 않고 정해진 단계별 프로세스를 따르는 방식이다. 로컬 모델에서 작동하도록 코드를 수정하고 불필요하게 비용이 많이 드는 프로세스를 제거하여 최적화했다.
- •에이전트 루프 대신 단계별 프로세스를 따르는 Agentless 선택
- •로컬 모델인 Qwen 2.5 Coder 32B 활용
- •임베딩 기반 컨텍스트 검색 등 고비용 저효율 프로세스 제거
Agentless는 복잡한 계획 수립이나 도구 사용 루프를 돌리는 대신 검색, 위치 파악, 수정의 정해진 단계를 수행하여 비용과 오류를 줄이는 방식입니다.
06:30
파이프라인 상세: F2P 테스트 생성
파이프라인의 첫 단계는 Fail-to-Pass(F2P) 테스트를 생성하는 것이다. 이는 수정 전에는 실패하고 수정 후에는 성공해야 하는 테스트로 정밀한 검증을 위해 필수적이다. LLM에게 관련 유닛 테스트 파일과 클래스 시그니처를 식별하게 한 뒤 5개의 F2P 테스트 샘플을 생성한다. 만약 생성된 테스트가 기존 코드에서 문제를 재현하지 못하면 해당 샘플은 즉시 폐기한다.
- •정밀도 향상을 위한 F2P 테스트 생성 프로세스 구축
- •3단계 컨텍스트(컨텍스트 없음, 관련 임포트, 관련 코드)를 활용한 테스트 생성
- •문제 재현 실패 시 파이프라인 조기 종료로 시간 절약
10:40
파이프라인 상세: 코드 수정 후보 생성 및 검증
F2P 테스트가 준비되면 실제 코드 수정을 진행한다. LLM이 수정이 필요한 파일과 함수 위치를 식별하고 2개의 미세 조정된 수정 후보를 생성한다. 각 후보에 대해 4개의 패치를 생성하여 총 8개의 후보 패치를 확보한다. 이후 생성된 패치들이 F2P 테스트를 통과하는지 확인하고 기존에 성공하던 유닛 테스트(P2P)를 깨뜨리지 않는지 검증하여 최종 제출물을 선택한다.
- •다양성 확보를 위해 총 8개의 수정 패치 후보 생성
- •F2P 테스트와 P2P(Pass-to-Pass) 테스트를 통한 이중 검증
- •가장 많은 테스트를 통과한 패치를 최종 제출
18:50
Agentless 프레임워크의 주요 변경 사항
기존 Agentless 프레임워크를 로컬 환경에 맞게 대폭 수정했다. 시맨틱 검색과 불필요한 파일 필터링을 제거하고 수정 후보 생성 개수를 40개에서 8개로 줄여 실행 속도를 높였다. 특히 로컬 모델의 성능을 끌어올리기 위해 프롬프트에 구체적인 가이드라인을 추가하고 데이터셋 다운로드 방지 등 환경 제약 사항을 명시했다.
- •수정 후보 개수 최적화(40개에서 8개로 축소)
- •로컬 모델을 위한 정교한 프롬프트 엔지니어링 적용
- •SWE-bench 환경에 맞춘 패치 선택 로직 수정
22:38
주요 발견: 프론티어 모델의 코드베이스 암기
실험 과정에서 GPT-4와 같은 프론티어 모델들이 오픈소스 코드베이스를 거의 암기하고 있다는 사실을 발견했다. 이 모델들은 컨텍스트 없이도 정확한 임포트 경로와 클래스 구조를 생성해냈다. 반면 Qwen 32B와 같은 로컬 모델은 논리력은 우수하지만 세부 구조 암기력은 부족했으나 적절한 컨텍스트(임포트, 시그니처 등)를 제공하자 성능이 비약적으로 향상되었다.
- •프론티어 모델의 강력한 코드베이스 암기 능력 확인
- •로컬 모델 성능 향상을 위한 명시적 컨텍스트 제공의 중요성
- •논리적 추론 능력과 암기 능력의 분리 필요성
실무 Takeaway
- 복잡한 에이전트 루프보다 테스트 기반의 직접적인 수정 방식이 로컬 모델에서 더 효율적일 수 있다.
- 로컬 모델 사용 시 프롬프트에 구체적인 컨텍스트(임포트 정보, 클래스 시그니처 등)를 제공하는 것이 성능 향상의 핵심이다.
- F2P(Fail-to-Pass) 테스트를 먼저 생성하여 문제 재현 여부를 확인하는 것이 잘못된 제출을 방지하는 강력한 필터 역할을 한다.
- 제한된 런타임 내에서는 고비용의 시맨틱 검색보다 LLM의 직접적인 파일 식별 능력을 활용하는 것이 유리하다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료