AELITIUM: LLM 출력을 위한 Git 방식의 암호화 검증 도구

섹션별 상세

AELITIUM은 LLM 호출 시 요청(Request)과 응답(Response)을 가로채어 암호화된 증거 번들을 자동으로 생성한다. 각 번들에는 페이로드의 SHA-256 해시, 타임스탬프, 스키마 정보가 포함된 매니페스트가 들어있으며, 요청과 응답을 논리적으로 연결하는 binding_hash를 통해 전체 호출의 무결성을 보장한다.

python

from aelitium import enable_litellm
import litellm

enable_litellm(verbose=True)
response = litellm.completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "Say hello in one sentence"}],
)
print(response.choices[0].message.content)

LiteLLM을 사용하여 LLM 호출 시 AELITIUM 검증 기능을 활성화하는 예시

aelitium compare 명령어를 사용하면 과거와 현재의 번들을 비교하여 모델의 동작 변화(Model Drift)를 즉각적으로 감지할 수 있다. 요청 해시가 동일함에도 응답 해시가 다르다면 이는 코드의 문제가 아닌 LLM 공급업체의 모델 업데이트로 인한 변화임을 객관적으로 증명할 수 있다.

bash

aelitium compare ./bundle_last_week ./bundle_today
# STATUS=CHANGED rc=2
# REQUEST_HASH=SAME
# RESPONSE_HASH=DIFFERENT
# INTERPRETATION=Same request produced a different response

두 시점의 번들을 비교하여 모델 드리프트(동일 요청, 다른 응답)를 감지하는 방법

기존 코드의 수정 없이 enable_litellm() 함수 호출 한 줄만으로 LiteLLM, OpenAI, Anthropic 등의 SDK와 통합이 가능하다. 캡처 어댑터는 API 호출 시점에 실시간으로 해시를 기록하며, 생성된 번들은 네트워크 연결 없이도 오프라인에서 언제든지 검증할 수 있는 Fail-closed 방식을 채택하고 있다.

bash

BUNDLE=$(ls -td aelitium/bundles/* | head -1)
aelitium verify-bundle "$BUNDLE" # STATUS=VALID

# Tamper and verify again
sed -i 's/Hello/HELLO/' "$BUNDLE/ai_canonical.json"
aelitium verify-bundle "$BUNDLE" # STATUS=INVALID

생성된 증거 번들의 무결성을 검증하고 데이터 수정 시 유효성 실패를 확인하는 CLI 명령어

aelitium scan 기능을 통해 코드베이스 내에서 증거 캡처가 누락된 LLM 호출 지점을 찾아내고 CI/CD 파이프라인에서 이를 강제할 수 있다. 이는 대규모 프로젝트에서 모든 LLM 상호작용이 추적되고 있는지 확인하는 데 유용하며, 규제 준수(Compliance)를 위한 테스트 커버리지 지표로 활용된다.

이 도구는 단순한 관찰(Observability) 도구와 달리 데이터의 무결성과 증명에 초점을 맞춘다. 로그는 수정될 수 있지만 AELITIUM의 번들은 암호화되어 있어 수정 시 즉시 검증 실패(INVALID) 상태가 되므로, EU AI Act 제12조나 SOC 2와 같은 엄격한 감사 요구사항을 충족하는 데 적합하다.

용어 해설

모델 드리프트(Model Drift): — 시간이 지남에 따라 LLM 공급업체의 업데이트나 데이터 변경으로 인해 동일한 입력에 대한 모델의 출력이 변하는 현상이다. AELITIUM은 이를 감지하기 위해 요청과 응답의 해시값을 비교하여 변화를 추적한다.
정규화된 JSON(Canonical JSON): — 데이터의 논리적 구조는 유지하면서 공백, 키 순서 등을 표준화된 형식으로 직렬화하는 방식이다. 동일한 데이터가 항상 동일한 해시값을 생성하도록 보장하여 암호화 검증의 신뢰성을 높인다.
SHA-256: — 데이터의 무결성을 확인하기 위해 널리 사용되는 암호화 해시 함수이다. 어떤 입력값이든 고정된 길이의 고유한 값을 생성하며, 데이터가 1비트만 바뀌어도 결과값이 완전히 달라져 위변조 탐지에 필수적이다.
페일 클로즈드(Fail-closed): — 시스템 오류나 검증 실패 시 보안을 위해 접근을 차단하거나 작업을 중단하는 설계 원칙이다. AELITIUM은 검증 오류 발생 시 종료 코드 2를 반환하여 신뢰할 수 없는 데이터의 처리를 방지한다.
바인딩 해시(Binding Hash): — 특정 요청과 그에 대응하는 응답을 암호화 기술로 묶어주는 연결 고리이다. 요청과 응답이 서로 짝이 맞는지 확인하여 중간에 응답이 바뀌거나 다른 요청의 결과로 대체되는 것을 방지한다.

기술

AELITIUM
LiteLLM
OpenAI API
Anthropic API
SHA-256
Python

활용 사례

LLM 모델 업데이트 감지
AI 출력 데이터 위변조 방지
EU AI Act 대응 기록 보존
AI 에이전트 사고 조사

언급된 리소스

GitHubAELITIUM GitHub Repository

from aelitium import enable_litellm import litellm enable_litellm(verbose=True) response = litellm.completion( model="openai/gpt-4o", messages=[{"role": "user", "content": "Say hello in one sentence"}], ) print(response.choices[0].message.content)

BUNDLE=$(ls -td aelitium/bundles/* | head -1) aelitium verify-bundle "$BUNDLE" # STATUS=VALID # Tamper and verify again sed -i 's/Hello/HELLO/' "$BUNDLE/ai_canonical.json" aelitium verify-bundle "$BUNDLE" # STATUS=INVALID

AELITIUM: LLM 출력을 위한 Git 방식의 암호화 검증 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

AELITIUM: LLM 출력을 위한 Git 방식의 암호화 검증 도구

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드