새로운 모델을 찾고 계신가요? 이 벤치마크 결과를 확인해 보세요

작성자가 직접 도구를 공개하고 참여를 독려하는 단계이며 구체적인 수치와 오픈소스 링크를 제공하여 신뢰를 얻고 있다.

• 자신의 프로젝트에서 발생하는 버그를 Dockerfile로 만들어 needle-bench에 제출하면 가장 적합한 모델을 찾을 수 있다.

• Claude Code로 개발된 'needle-bench'는 저가형 모델의 성능을 커널 상태 주입을 통해 극대화하는 실험적 접근을 보여준다.
• Docker 환경에서 모델의 문제 해결 능력을 직접 실행 기반으로 측정하여 단순 텍스트 생성 이상의 실질적 성능을 평가한다.
• 사용자가 자신의 코드 버그를 벤치마크 시나리오로 등록하여 본인의 프로젝트에 가장 비용 효율적인 모델을 찾을 수 있다.