리포지토리 컨텍스트 전략을 실험한 PViz 쇼케이스

작성자는 결과와 근거를 공개 아카이브로 제공하고 댓글 토론을 환영한다고 밝혔으며 이는 추가 검증과 방법론적 질의에 열린 태도를 의미한다. 원문에는 게시물 이후의 댓글이나 외부 피드백 요약이 포함되어 있지 않으므로 실제 커뮤니티 반응의 분포는 본문만으로 판단할 수 없다. 공개된 트랜스크립트와 점수표가 토론을 촉진할 수 있는 근거 자료로 활용될 가능성이 크다.

• 질문이 코드의 구조적 관계나 의존 범위 확인을 목표로 할 경우 의존성 그래프 번들을 먼저 사용하여 관련 파일 집합을 좁힌 뒤 해당 파일만 소스에서 검증하면 응답 비용과 시간 모두 절감된다.
• 코드의 실행 흐름·조건부 분기·API 활성 경로 등 행동적 속성을 묻는 질문에는 번들만 의존하지 말고 원본 소스 또는 실행 로그를 병행하여 검증 절차를 포함해야 오도 가능성을 줄일 수 있다.
• 번들 기반 응답을 설계할 때는 번들이 보고한 사실과 소스 검증이 필요한 주장 사이에 문장 단위의 확신 레이블을 추가하여 불확실한 추론을 과도하게 확신으로 표기하는 것을 방지해야 한다.

의존성 그래프(Dependency Graph)

— 코드베이스의 파일과 모듈 간 호출·임포트 관계를 노드와 엣지로 표현한 구조이다. 이 구조는 그래프 탐색을 통해 관련 파일을 빠르게 식별하게 하며 LLM 컨텍스트에서 문맥 범위를 좁히는 데 사용된다. 의존성 그래프는 정적 분석이나 빌드 메타데이터를 소스로 하여 생성되며 구조적 통찰을 제공하지만 런타임 동작이나 비표현적 API 사용 여부는 검증할 수 없다.

번들 전용 분석(Bundle-only)

— 리포지토리 소스 접근 없이 의존성 그래프와 메타데이터 번들만으로 분석을 수행하는 전략을 의미한다. 입력으로 번들(노드·엣지·메트릭)을 받고 내부 구조적 사실을 출력으로 제공하므로 문서·구성도 기반의 질문에 빠르게 답할 수 있다. 번들 전용 방식은 구조적 사실을 잘 포착하지만 실제 코드 동작이나 예외적 흐름은 검증 불가능한 한계를 가진다.

증거 효율성(Evidence Efficiency)

— 질문에 답하기 위해 필요한 소스 조회 횟수, 토큰 사용량, 및 근거 제공에 드는 비용과 시간을 합친 효율성 지표를 뜻한다. 이 지표는 동일한 정답 수준에서 소스 접근을 얼마나 최소화했는지를 평가하므로 번들 기반 워크플로의 실무적 유용성을 가늠하게 한다. 증거 효율성은 반복 쿼리나 불필요한 파일 탐색을 줄이면 개선되는 특성이 있다.

신뢰도 보정(Confidence Calibration)

— 모델이 제시한 주장에 대해 확률적·문장적 불확실성을 명시하여 주장의 신뢰도를 정렬하는 절차를 말한다. 번들 기반 응답에서 번들에 의존한 구조적 사실과 소스 검증이 필요한 행동적 주장 사이를 구분하여 불확실성을 표기하는 방식이 효과적이라는 관찰이 있었다. 적절한 보정은 과도한 확신 표명을 줄여 검증 비용을 낮추고 사용자 혼선을 줄인다.

행동적·의미적 과제(Behavioral-Semantic Task)

— 코드의 실제 실행 흐름, 조건부 동작, 또는 특정 입력에서의 동작 순서를 확인해야 하는 질문 유형을 가리킨다. 이러한 과제는 정적 구조만으로는 완전 검증이 어려워 원문 소스 확인 또는 실행 기반 증거가 필요하다. 평가에서는 이 과제군이 번들 전용으로는 완전한 정답 한계에 도달하기 어렵다는 결과가 관찰되었다.