QuantCode-Bench: 대형 언어 모델의 실행 가능한 알고리즘 트레이딩 전략 생성 능력 평가를 위한 벤치마크

LLM의 코드 생성 능력이 비약적으로 발전했음에도 불구하고, 금융 도메인 특유의 복잡한 API 활용과 실행 가능한 트레이딩 로직 구현 능력은 여전히 검증되지 않은 영역이다. 이 논문은 단순한 문법 정확도를 넘어 실제 과거 데이터에서 거래가 발생하는지, 그리고 원래 의도한 전략과 일치하는지를 다단계로 평가하는 엄격한 기준을 제시한다.

기존의 코드 생성 벤치마크는 주로 문법적 정확성이나 단위 테스트 통과 여부에 집중한다. 하지만 트레이딩 전략 코드는 Python 문법이 완벽하더라도, 금융 지표(Indicator)의 인덱싱 오류나 너무 엄격한 진입 조건 설정으로 인해 실제 시장 데이터에서 단 한 건의 거래도 발생시키지 못하는 '실행 가능하지만 무용지물인 코드'가 될 위험이 크다.

이 논문은 이러한 한계를 극복하기 위해 '실행 가능성'의 정의를 확장한다. Transformer 기반 모델이 생성한 코드가 Backtrader라는 특정 라이브러리의 복잡한 API 규약을 준수하는지 확인한 뒤, 실제 과거 데이터(Historical data) 위에서 시뮬레이션을 돌려본다. 이때 단순히 에러가 없는 것을 넘어, 실제로 매수/매도 신호가 발생하는지를 수치적으로 확인한다.

최종적으로는 LLM Judge를 활용하여 생성된 코드가 사용자의 원래 자연어 요구사항(예: RSI 지표 활용, 특정 이동평균선 교차 등)을 충실히 반영했는지 검토한다. 이는 모델이 단순히 동작하는 템플릿을 복제하는 것이 아니라, 금융 로직을 정확히 이해하고 코드로 변환(Operationalization)해야 함을 의미한다.

QuantCode-Bench는 Backtrader 프레임워크를 표준 환경으로 채택하여 400개의 태스크를 평가한다. 평가 프로세스는 Compilation → Backtest → Trade → Judge 순서로 진행되며, 각 단계는 이전 단계를 통과해야만 수행되는 계층적 구조를 가진다.

LLM Judge 단계에서는 세 가지 기준을 적용한다. 첫째, 사용된 지표가 설명과 일치하는가. 둘째, 핵심 진입/청산 로직이 구현되었는가. 셋째, 단순한 템플릿 치환이 아닌 해당 태스크에 특화된 구현인가를 평가한다. [생성된 코드와 원문 설명 입력 → LLM Judge의 비교 연산 → 통과/실패 이진 결과 출력 → 최종 성공률 산출]

실험 설정은 Single-turn과 Agentic multi-turn으로 나뉜다. Agentic 설정에서는 모델이 실패 시 에러 메시지와 시스템 피드백을 받아 최대 10회까지 코드를 수정할 수 있도록 설계되었다. [오류 메시지 입력 → 모델의 자가 수정 연산 → 수정된 코드 출력 → 재평가 루프 수행]

Single-turn 설정에서 Claude 3 Opus는 75.8%, GPT-4는 70.2%의 Judge Pass를 기록했다. 모든 최상위 모델들은 Compilation 단계에서 100%에 가까운 성능을 보였으나, 실제 거래가 발생하는 Trade 단계와 의미론적 일치성을 따지는 Judge 단계에서 성능이 급격히 하락하는 양상을 보였다.

Agentic multi-turn 설정에서는 성능이 비약적으로 상승하여 Claude 3 Opus가 97.5%, GPT-4가 95.0%의 최종 성공률을 달성했다. 이는 대부분의 기술적 오류(API 오용, 인덱싱 실수 등)가 반복적인 피드백을 통해 해결 가능함을 시사한다.

오류 분석 결과, 가장 빈번한 실패 원인은 '데이터 상에서 신호 미발생(17.8%)'과 'Backtrader Line 객체의 불리언 처리 오류(13.1%)'로 나타났다. 이는 모델이 라이브러리의 특수한 문법 구조와 실제 데이터의 변동성을 결합하여 이해하는 데 어려움을 겪고 있음을 보여준다.

QuantCode-Bench는 단순한 코드 조각이 아닌 클래스 기반의 완전한 Backtrader Strategy 객체 생성을 요구한다. 이는 __init__에서의 지표 선언과 next 메서드에서의 로직 구현 간의 상태 관리를 필요로 한다.

실험에 사용된 데이터는 Reddit(183개), TradingView(100개), StackExchange(90개) 등 실제 사용자 커뮤니티에서 추출되어 정형화된 데이터셋보다 훨씬 모호하고 자연어에 가까운 특성을 가진다. 이를 위해 각 태스크는 지표, 진입/청산 규칙, 리스크 관리 규칙으로 구조화된 보강 과정을 거쳤다.

에이전트 설정에서 사용된 피드백 루프는 단순 에러 메시지 전달을 넘어, 에러 유형(Compilation, Runtime, No Trade 등)을 분류하여 모델에게 제공함으로써 로컬 서치(Local search)와 진단 정보 활용 능력을 극대화하도록 설계되었다.

현재 벤치마크는 Backtrader 프레임워크 하나에 국한되어 있어 다른 라이브러리(QuantConnect, Zipline 등)로의 일반화 성능을 측정하기 어렵다. 또한, 생성된 전략의 수익성이나 리스크 견고성 등 경제적 품질은 평가 범위에 포함되지 않았으며, 최종 검증을 LLM Judge에 의존하므로 판정 모델 자체의 편향이 개입될 여지가 있다.