Code Completion Benchmark
코드 완성 벤치마크
실제 저장소에서 추출한 코드 조각에 대해 모델이 누락된 토큰이나 후속 코드를 얼마나 정확히 예측하는지를 측정하는 평가 세트로 구성된다. 벤치마크는 문법 적합성, 토큰 정밀도, 완성 제안의 유용성 등 여러 관점을 포함하여 모델 간 비교를 가능하게 만든다. 본 논문에서는 Pharo의 문법 학습 여부와 실제 GitHub 코드의 마스킹 완성 성능을 각각 평가하는 전용 벤치마크 세트를 구축하였다.
