자동 PR 승인을 위한 LLM 직접 요청과 구조화된 실행 흐름 비교 실험

실용적 조언

PR 자동화 도구 설계 시 LLM에게 전체 판단을 맡기지 말고, 위험 요소 추출과 정책 대조 단계를 엄격히 분리하라.
보안 업데이트나 핵심 경로 파일 변경과 같은 시나리오에서는 LLM의 긍정적 요약보다 구조적 메타데이터를 우선시하도록 로직을 구성하라.

섹션별 상세

단일 프롬프트 방식과 7단계 구조화된 실행 모델의 성능을 24개 테스트 케이스로 비교했다. GPT-4o-mini 모델을 동일하게 사용했음에도 불구하고, 단일 요청 방식은 71%의 정확도를 보인 반면 구조화된 실행 모델은 79%의 정확도를 기록했다. 특히 단일 요청 방식은 5건의 치명적인 가짜 양성(False Positive)을 발생시켰으나 구조화된 모델은 단 한 건의 치명적 오류도 발생시키지 않았다.

실패 사례 분석 결과, 단일 프롬프트 방식은 업데이트 설명의 긍정적인 뉘앙스에 속아 보안 취약점(CVE)을 간과하는 경향을 보였다. 반면 구조화된 모델은 '위험 추출'과 '정책 적용' 단계를 분리하여 CVE 존재 여부를 구조적 신호로 파악하고 이를 에스컬레이션했다. 이는 LLM이 텍스트의 서술적 내용보다 구조적 제약 조건을 우선시하도록 강제하는 아키텍처의 중요성을 입증한다.

구조화된 실행 모델은 요약, 위험 추출, 결정론적 위험 분류 및 정책 적용 등 총 7단계로 구성된다. 각 단계에서 LLM의 역할은 제한적인 추론으로 좁히고, 최종 의사결정은 사전에 정의된 정책 게이트를 통해 결정론적으로 처리한다. 이러한 방식은 의사결정 과정을 추적 가능하게 만들고 특정 규칙에 근거한 결과물을 생성하여 시스템의 감사 가능성을 높인다.

구조화된 실행 모델과 단일 프롬프트 방식의 의사결정 흐름을 비교한 다이어그램이다. — Diagram왼쪽의 단일 요청 방식은 모든 데이터를 한 번에 처리하는 반면, 오른쪽의 구조화된 방식은 요약, 위험 추출, 정책 적용 등 7단계로 세분화되어 있음을 보여준다. 특히 정책 적용 단계가 결정론적으로 처리되어 최종 승인 여부를 결정하는 구조를 시각화하고 있다.

용어 해설

인지 런타임(Cognitive Runtime): — LLM의 추론 과정을 구조화된 단계로 나누어 실행하는 아키텍처이다. 단순 프롬프트 입력 대신 요약, 위험 추출, 정책 적용 등 각 단계를 분리하여 실행함으로써 결정의 일관성과 신뢰성을 높이는 역할을 한다.
결정론적 실행(Deterministic Execution): — 동일한 입력에 대해 항상 동일한 출력을 보장하는 처리 방식이다. LLM의 확률적 응답과 달리 사전에 정의된 규칙이나 로직에 따라 결과를 산출하므로 시스템의 예측 가능성과 감사 가능성을 확보하는 데 필수적이다.
정책 게이트(Policy Gate): — 코드 변경이나 배포 승인 시 특정 보안 및 운영 정책 준수 여부를 검증하는 필터링 단계이다. 구조화된 데이터(JSON 등)를 기반으로 승인, 차단, 에스컬레이션 등의 의사결정을 자동화하는 시스템의 핵심 구성 요소이다.

언급된 도구

ORCA추천링크

구조화된 실행 흐름(Cognitive Runtime) 구현을 위한 도구

gpt-4o-mini중립

실험에 사용된 기본 언어 모델

언급된 리소스

GitHubExperiment Reproducibility (GitHub)

문서ORCA Implementation Record