Continuum: AI 워크플로우의 비결정성 문제를 해결하는 CI 기반 드리프트 감지 도구

섹션별 상세

01

Continuum은 AI 워크플로우의 각 단계(Phase)를 기록하고 이를 CI 환경에서 재현하여 출력값의 변화를 감지한다. 실행 시 사용된 모델, 온도, 태스크 정보가 포함된 레시피를 저장하여 나중에 동일한 환경을 복제한다.

text

Drift detected in phase: json_parse
Path: json_parse.amount
Stored: 72
Current: "72.00"

Continuum이 감지한 데이터 타입 변경(정수에서 문자열로의 드리프트) 에러 메시지 예시

인보이스 추출 과정에서 데이터 드리프트가 발생했을 때 검증이 실패하는 과정을 보여주는 GIF 데모이다. — Screenshot정상적인 실행 후 프롬프트를 수정했을 때, Continuum이 기존에 저장된 데이터와 현재 모델의 출력 차이를 감지하여 'FAIL'을 출력하고 빌드를 중단시키는 실시간 과정을 시연한다. 이는 도구의 핵심 가치인 실시간 드리프트 감지 능력을 증명한다.

02

LLM의 비결정성으로 인해 발생하는 자동화된 데이터 오염 문제를 해결하기 위해 결정론적 커널(Deterministic Kernel) 아키텍처를 채택했다. 이는 AI를 두뇌가 아닌 소비자로 취급하여 실행 과정을 엄격히 통제한다.

Continuum의 아키텍처와 실행 흐름을 나타낸 다이어그램이다. — Diagram에이전트 프레임워크에서 시작하여 어댑터, 결정론적 커널을 거쳐 체크포인트 기반 저장소로 이어지는 데이터 흐름을 보여준다. 실행 기록(Run once)이 저장(Store run)된 후 CI 단계에서 검증(CI: verify)되는 전체 생명주기를 시각화한다.

03

verify-all --strict 명령어를 통해 저장된 모든 실행 레시피를 재실행하고, 현재의 모델 출력을 과거의 체크포인트와 비교하여 불일치 시 에러를 발생시킨다. 이는 단순한 텍스트 비교를 넘어 JSON 경로 단위의 정밀한 디프(Diff)를 제공한다.

bash

node dist/cli/index.js verify-all --strict

저장된 모든 AI 워크플로우 실행 기록을 재실행하여 현재 모델 출력과 비교 검증하는 명령어

04

GitHub Actions와 같은 CI 도구에 쉽게 통합되어, 프롬프트 수정이나 모델 버전 변경이 전체 시스템에 미치는 영향을 배포 전에 자동으로 검증한다. 이를 통해 AI 출력을 전통적인 소프트웨어의 유닛 테스트처럼 관리할 수 있다.

yaml

name: Continuum Verification
on: [push]
jobs:
  verify:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: npm install
      - run: npm run build
      - run: npx tsx examples/invoice-processor/pipeline.ts
      - run: node dist/cli/index.js verify-all --strict

GitHub Actions를 사용하여 푸시 시마다 AI 워크플로우 드리프트를 자동으로 체크하는 설정 예시

용어 해설

드리프트(Drift): — AI 모델의 출력이 시간이 지남에 따라 또는 프롬프트 수정, 모델 업데이트 등으로 인해 원래의 기준점(Baseline)에서 벗어나 변하는 현상이다. 이는 하위 시스템의 데이터 파싱 오류나 로직 붕괴를 초래하여 운영 환경에서 심각한 장애를 유발할 수 있다.
비결정성(Non-deterministic): — 동일한 입력에 대해 매번 다른 결과가 나올 수 있는 성질이다. LLM은 확률적으로 다음 토큰을 예측하므로 온도(Temperature) 설정이나 모델 내부의 무작위성으로 인해 출력이 일정하지 않을 수 있으며, 이는 소프트웨어 테스트의 예측 가능성을 저해한다.
구조화된 데이터 추출(Structured Extraction): — 영수증이나 문서 같은 비정형 텍스트에서 JSON과 같이 미리 정의된 스키마에 맞는 정형 데이터를 뽑아내는 기술이다. 데이터 타입(정수 vs 문자열)의 미세한 변화가 전체 비즈니스 로직의 성패를 결정짓는 핵심적인 단계이다.
결정론적 커널(Deterministic Kernel): — AI 워크플로우의 실행 과정을 기록하고 동일한 조건에서 재현할 수 있도록 설계된 핵심 엔진이다. 외부 변수를 통제하고 저장된 레시피를 기반으로 실행을 복제함으로써 비결정적인 AI 출력을 결정론적으로 검증 가능하게 만든다.

기술

Node.js
TypeScript
GitHub Actions
OpenAI API
LangGraph
CrewAI

활용 사례

인보이스 자동 추출 시스템의 데이터 정합성 검증
프롬프트 변경에 따른 JSON 출력 스키마 변화 감지
AI 에이전트 워크플로우의 회귀 테스트

언급된 리소스

GitHubContinuum GitHub Repository