모델이 라인 번호를 직접 쓰지 못하게 해 정확한 코드 인용을 보장하는 문서화 파이프라인

커뮤니티 반응은 전반적으로 실무적이고 긍정적이었다. 많은 참여자가 모델이 위치를 생성하는 실패 모드를 근본적으로 제거하는 접근을 실무에서 적용해본 경험을 공유했고, 일부는 모델이 임의 마커를 발명하는 문제와 이를 검증·필터링하는 하니스 로직의 중요성을 지적했다. 일부 토론자는 이 패턴이 문서화 외에도 RAG의 소스 인용, 데이터베이스 요약의 행 식별자, 전사 타임스탬프 등 다양한 참조형 출력에 적용될 수 있다고 확장 가능성을 언급했다.

• 모델이 위치 식별자를 직접 생성하지 못하게 설계하라. 입력으로는 파서가 제공한 정확한 소스 슬라이스만 주고 모델 출력에는 불투명한 마커만 남긴 뒤, 별도의 해시 기반 사실 저장소에서 마커를 검증된 path:start-end로 치환하면 모델이 잘못된 라인 수를 생성하는 실패 모드를 애초에 제거할 수 있다. 이 방식은 최종 문서에 노출되는 위치 정보가 항상 외부 검증을 거친 값이 되도록 한다.
• 사실 ID는 파일 경로와 심볼 이름, 심볼 종류, 정규화된 사실 텍스트를 결합해 해시로 생성하라. 이렇게 하면 코드 포맷팅 변경이나 위쪽에 코드가 삽입되는 등 위치 이동이 발생해도 동일한 사실은 동일한 ID를 유지하므로 많은 경우에 모델 호출 없이 사실을 재연결할 수 있다. 운영상으로는 커밋 단위로 심볼 diff를 계산해 이동된 심볼을 자동으로 리앵커링하면 전체 재실행 비용을 크게 줄일 수 있다.
• 모델이 생성한 마커와 하니스가 기대하는 ID 포맷을 엄격히 검증하라. 모델은 사람이 읽기 쉬운 라벨을 발명하려는 경향이 있으므로 하니스는 오직 자체 포맷과 일치하는 마커만 치환하고 그 외 마커는 제거하거나 매핑 실패로 기록해 배포 버그를 예방해야 한다. 또한 내부 위키 링크·행 식별자·타임스탬프 등도 동일한 치환 규칙을 적용해 모델이 직접 생성하지 못하도록 통제하는 것이 안전하다.

Tree-sitter

— Tree-sitter는 소스코드를 파싱해 추상 구문 트리와 각 토큰의 정확한 소스 슬라이스 및 라인 범위를 반환하는 라이브러리이다. 이 게시물 맥락에서는 각 심볼(함수·변수·클래스)의 정확한 시작·끝 위치를 파싱 단계에서 확보해 모델 출력과 분리된 검증 가능 참조로 사용하기 위해 도입되었다. 파싱 결과를 이용하면 모델이 위치를 잘못 생성하더라도 올바른 파일·범위를 외부에서 주입할 수 있다.

Fact ID

— 사실 ID는 경로(path)와 심볼 이름, 심볼 종류, 정규화한 사실 텍스트를 해시해 생성한 불변 식별자이다. 이 식별자는 물리적 위치가 아니라 사실 내용과 코드 요소의 결합으로 동일한 사실을 코드 이동시에도 동일하게 식별할 수 있게 한다. 덕분에 코드 포맷팅이나 위로 삽입되는 변경이 있어도 사실의 재연결(리앵커링)이 가능해진다.

Citation Substitution

— 인용 대체는 모델이 직접 파일 경로나 라인 범위를 생성하지 못하게 하고 모델 출력의 토큰 자리표시자를 외부 해시 또는 범위로 대체하는 설계 패턴이다. 모델은 불투명한 마커를 문장 끝에 남기고, 파이프라인은 이후에 해당 마커를 검증된 경로:시작-끝으로 치환한다. 이 방식은 모델이 잘못된 위치를 생성하는 실패 모드를 근본적으로 제거한다.

Mining Pass

— 마이닝 패스는 파싱기로 얻은 각 심볼의 소스 슬라이스를 대상으로 모델을 한 번 호출해 2~5개의 검증 가능한 한 문장 사실을 추출하는 단계이다. 입력은 심볼의 실제 코드 슬라이스이고 출력은 정규화된 사실 텍스트이며, 각 사실은 해시 기반 ID와 연계되어 사실 저장소에 기록된다. 이 단계는 위치 정보가 아닌 사실 자체를 고정하는 역할을 하며 이후 쓰기 단계의 근거가 된다.