자동 PR 승인을 위한 LLM 직접 요청과 구조화된 실행 흐름 비교 실험

작성자가 실험 데이터와 코드를 GitHub에 공개하여 재현 가능성을 높였으며, 프로덕션 환경에서의 LLM 활용 방식에 대한 기술적 논의를 유도하고 있다.

• PR 자동화 도구 설계 시 LLM에게 전체 판단을 맡기지 말고, 위험 요소 추출과 정책 대조 단계를 엄격히 분리하라.
• 보안 업데이트나 핵심 경로 파일 변경과 같은 시나리오에서는 LLM의 긍정적 요약보다 구조적 메타데이터를 우선시하도록 로직을 구성하라.

Cognitive Runtime

— LLM의 추론 과정을 구조화된 단계로 나누어 실행하는 아키텍처이다. 단순 프롬프트 입력 대신 요약, 위험 추출, 정책 적용 등 각 단계를 분리하여 실행함으로써 결정의 일관성과 신뢰성을 높이는 역할을 한다.

Deterministic Execution

— 동일한 입력에 대해 항상 동일한 출력을 보장하는 처리 방식이다. LLM의 확률적 응답과 달리 사전에 정의된 규칙이나 로직에 따라 결과를 산출하므로 시스템의 예측 가능성과 감사 가능성을 확보하는 데 필수적이다.

Policy Gate

— 코드 변경이나 배포 승인 시 특정 보안 및 운영 정책 준수 여부를 검증하는 필터링 단계이다. 구조화된 데이터(JSON 등)를 기반으로 승인, 차단, 에스컬레이션 등의 의사결정을 자동화하는 시스템의 핵심 구성 요소이다.