리포지토리 컨텍스트 전략을 실험한 PViz 쇼케이스

이 게시물은 PViz로 생성한 의존성 그래프 번들을 LLM 컨텍스트에 적용하여 세 가지 워크플로(Raw, PViz-assisted, Bundle-only)를 통제된 방식으로 비교한 실험 결과를 공개한 보고서이다. 실험은 28개 개발자 지향 과제를 7개 언어에서 수행한 84회 세션을 기반으로 하며 코어 정답률, 심층도, 신뢰도 보정, 증거 효율성 등을 정량적으로 채점하여 비교 가능한 결과를 제시했다.

주요 발견은 과제 계열이 번들 유용성을 예측하는 가장 강한 변수였다는 점이며, 구체적으로 구조·혼합 과제에서는 번들 보조 워크플로가 특히 유리했고 행동적·의미적 과제는 원본 소스 검증이 여전히 필요하다는 점이 확인되었다. 수치로는 Raw가 핵심 정답 측면에서 98.0%를, PViz-assisted가 100%를, Bundle-only가 66.8%를 기록했으며 총점에서는 Raw가 소폭 우위를 보였다.

번들 전용 전략은 일부 언어 세트에서 신뢰도 보정을 성공적으로 수행했으나 실패 사례는 구조적으로 그럴듯한 추론을 과도하게 확신한 경우에 집중되었다. 작성자는 모든 트랜스크립트와 점수표, 방법론 문서를 공개 아카이브로 제공하여 재현과 추가 검증이 가능하게 했고, 실무에서는 번들로 타깃을 좁힌 뒤 필요한 소스만 검증하는 하이브리드 전략이 실용적 이점을 제공한다고 판단된다.