에이전틱 코드 추론: 실행 없이 코드 의미를 분석하는 세미-포멀 추론 기법

기존 LLM 에이전트는 코드를 실행하지 않고 분석할 때 추측에 의존해 오류를 범하는 경우가 많았다. 이 논문은 구조화된 논리 단계를 강제하는 방법론을 통해 실행 환경 구축 없이도 정밀한 코드 분석이 가능함을 입증했다. 이는 보안이나 복잡한 레거시 시스템처럼 실행이 어려운 환경에서 AI의 활용도를 극대화한다.

왜 중요한가

핵심 기여

세미-포멀 추론(Semi-formal Reasoning) 방법론

명시적 전제 설정, 실행 경로 추적, 정식 결론 도출을 강제하는 구조화된 프롬프트 템플릿을 도입하여 LLM의 논리적 비약을 방지했다.

패치 등가성 검증 성능의 비약적 향상

Opus-4.5 모델 기준, 표준 추론의 78% 정확도를 88%로 끌어올렸으며 실제 에이전트가 생성한 패치에 대해서는 93%의 검증 정확도를 달성했다.

다양한 코드 분석 태스크에서의 범용성 입증

패치 검증뿐만 아니라 결함 위치 식별(Defects4J) 및 코드 질의응답(RubberDuckBench)에서도 기존 에이전틱 방식 대비 5~11%p의 성능 향상을 확인했다.

핵심 아이디어 이해하기

Transformer 기반의 LLM은 Chain-of-Thought(CoT)를 통해 복잡한 문제를 풀 수 있지만, 코드 분석 시에는 함수 이름이나 변수명만 보고 동작을 짐작하는 '추측성 오류'에 취약하다. 특히 여러 파일에 걸쳐 함수가 호출되는 경우, 중간 과정을 생략하고 결과만 내놓는 경향이 있어 신뢰도가 떨어진다.

이 논문은 이를 해결하기 위해 수학적 증명(Formal)과 자연어 사고(Informal)의 중간 단계인 '세미-포멀' 구조를 제안한다. 이는 에이전트에게 사고의 자유를 주되, 반드시 각 단계마다 코드상의 증거(Evidence)를 문서화하도록 강제하는 방식이다. 마치 개발자가 코드를 한 줄씩 머릿속으로 따라가며(Tracing) 버그를 찾는 과정을 정형화된 서식으로 만든 것과 같다.

이러한 구조화는 에이전트가 함수 내부를 실제로 탐색하게 만들고, 변수의 상태 변화를 명시적으로 기록하게 유도한다. 결과적으로 '이름이 같으니 똑같이 동작하겠지'라는 안일한 판단을 막고, 실행 없이도 실제 런타임에서 발생할 수 있는 미묘한 차이를 발견할 수 있게 한다.

방법론

세미-포멀 추론은 네 가지 핵심 단계로 구성된 템플릿을 사용한다. 첫째, PREMISES 단계에서 각 패치가 수정하는 파일과 변경 사항을 명시한다. 둘째, ANALYSIS 단계에서 특정 테스트 케이스에 대해 각 패치가 어떻게 반응할지 실행 경로(Execution Trace)를 기술한다. 셋째, COUNTEREXAMPLE 단계에서 두 패치의 결과가 달라지는 구체적인 지점을 식별한다. 마지막으로 CONCLUSION 단계에서 논리적 근거를 바탕으로 최종 판정을 내린다.

수학적 개념인 '테스트 기반 패치 등가성(Patch Equivalence Modulo Tests)'은 다음과 같이 계산된다. [두 개의 패치 P1, P2와 테스트 수트 T 입력] → [각 패치를 적용한 상태에서 T의 통과/실패 여부를 각각 예측] → [두 예측 결과 벡터가 완벽히 일치하는지 비교] → [일치하면 등가, 다르면 비등가로 판정]. 이 과정에서 에이전트는 [입력값 → 함수 호출 → 상태 변화 → 출력값]의 순서로 연산 원리를 풀어서 서술해야 한다.

상호 절차적 추론(Interprocedural Reasoning)을 강화하기 위해, 에이전트가 함수 호출을 만날 때마다 해당 함수의 정의를 찾아가서 분석하도록 유도하는 구조를 갖췄다. 이는 단순히 함수의 시그니처만 보는 것이 아니라, 실제 구현부의 로직이 현재 맥락의 변수들과 어떻게 상호작용하는지를 추적하게 함으로써 정확도를 높인다.

주요 결과

Opus-4.5 모델을 사용한 패치 등가성 검증 실험에서 세미-포멀 추론은 88.8%의 전체 정확도를 기록하여 표준 추론(78.2%)을 크게 앞질렀다. 특히 등가 패치를 맞추는 정확도는 93%에 달해, 실행 없이도 높은 신뢰도의 보상 신호를 생성할 수 있음을 보여주었다.

결함 위치 식별(Fault Localization) 벤치마크인 Defects4J에서는 Top-5 정확도가 표준 에이전틱 방식 대비 5~12%p 향상되었다. 이는 에이전트가 단순히 에러 메시지에 의존하지 않고, 코드의 논리적 흐름을 추적하여 버그의 근본 원인을 더 잘 찾아냈음을 의미한다.

코드 질의응답(RubberDuckBench)에서도 세미-포멀 방식은 87.0%의 정확도를 달성하여 표준 방식(78.3%)보다 8.7%p 높은 성능을 보였다. 분석 결과, 구조화된 템플릿이 에이전트의 '이름 기반 추측'을 억제하고 실제 데이터 흐름을 분석하도록 강제한 것이 주요 승인이었다.

기술 상세

본 연구의 핵심은 LLM의 추론 과정을 '인증서(Certificate)' 형태로 정형화한 것이다. 이는 기존의 비구조화된 CoT가 가진 불투명성을 해결한다. 세미-포멀 템플릿은 에이전트가 논리적 비약을 할 수 없도록 칸 채우기 형식을 취하며, 이는 사람이 에이전트의 판단 근거를 검토할 때도 매우 유리하다.

기술적으로는 'PREMISE → CLAIM → PREDICTION'으로 이어지는 추론 체인을 구축했다. 모든 예측은 반드시 명시된 전제와 코드상의 증거로부터 도출되어야 한다. 이는 형식 검증(Formal Verification)의 엄격함과 LLM의 유연한 언어 이해 능력을 결합한 하이브리드 접근 방식이다.

구현 측면에서 에이전트는 bash 도구를 사용하여 코드베이스를 탐색하며, 최대 100단계의 상호작용을 통해 컨텍스트를 수집한다. 이 과정에서 에이전트는 스스로 가설을 세우고(Hypothesis), 코드를 읽어 이를 확인하거나 수정하는 '자기 반성(Self-reflection)' 과정을 거친다.

한계점으로는 여전히 매우 복잡한 간접 참조(Indirection)나 소스 코드가 없는 서드파티 라이브러리의 동작을 추측할 때 오류가 발생할 수 있다는 점이 확인되었다. 또한 표준 추론 대비 약 2.8배 더 많은 추론 단계가 필요하여 계산 비용이 증가하는 트레이드오프가 존재한다.

한계점

에이전트가 소스 코드를 볼 수 없는 서드파티 라이브러리의 동작을 추측할 때 오류가 발생한다. 또한 매우 복잡한 간접 참조(Indirection)가 포함된 버그를 놓치는 경향이 있으며, 표준 추론보다 약 2.8배 더 많은 단계를 거쳐야 하므로 추론 비용이 높다.

실무 활용

이 기술은 실행 환경을 구축하기 어려운 대규모 코드베이스에서 자동화된 코드 리뷰 및 버그 탐지 도구로 즉시 활용 가능하다. 특히 강화학습(RL) 기반의 코드 생성 모델 학습 시, 비싼 실행 비용 없이도 정확한 피드백을 제공하는 보상 모델로 사용될 수 있다.

자동 코드 리뷰 시스템: PR(Pull Request) 제출 시 논리적 오류나 부작용을 실행 없이 사전 검토
RL 기반 코드 생성 학습: 실행 샌드박스 없이도 모델에게 정확한 보상 신호 제공
정적 분석 도구 보조: 기존 정적 분석기가 놓치는 복잡한 시맨틱 오류 탐지
레거시 시스템 분석: 의존성 문제로 실행이 어려운 오래된 코드의 로직 검증

코드 공개 여부: 비공개

키워드

Agentic Code Reasoning(에이전틱 코드 추론)Semi-formal Reasoning(세미-포멀 추론)Patch Equivalence(패치 등가성)Fault Localization(결함 위치 식별)LLM(대형 언어 모델)

용어 해설

패치 등가성(Patch Equivalence): — 두 개의 서로 다른 코드 수정안(패치)이 동일한 입력에 대해 동일한 실행 결과를 생성하는지 확인하는 개념이다. 이는 코드 리팩터링이나 버그 수정 시 의도치 않은 기능 변화가 없는지 검증하는 데 필수적이다.
결함 위치 식별(Fault Localization): — 소프트웨어 테스트 실패 시 버그를 유발한 근본적인 코드 위치를 자동으로 찾아내는 기술이다. 대규모 코드베이스에서 디버깅 시간을 단축하기 위해 사용되며, 정확한 위치를 짚어내는 능력이 핵심이다.
형식 검증(Formal Verification): — 수학적 논리를 사용하여 소프트웨어나 하드웨어 시스템이 명세서대로 정확히 작동함을 증명하는 기법이다. Lean이나 Coq 같은 언어를 사용하며, 오류가 전혀 없음을 보장할 수 있으나 구현 비용이 매우 높다.
사고의 사슬(Chain-of-Thought): — LLM이 복잡한 문제를 해결할 때 중간 추론 단계를 순차적으로 생성하도록 유도하는 프롬프팅 기법이다. 모델의 논리적 사고 과정을 투명하게 만들지만, 코드 분석 시에는 근거 없는 추측을 포함할 위험이 있다.

에이전틱 코드 추론: 실행 없이 코드 의미를 분석하는 세미-포멀 추론 기법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Semantic Triangulation을 통한 LLM 코드 환각 감소

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Semantic Triangulation을 통한 LLM 코드 환각 감소