섹션별 상세
Assay는 AI 실행 결과에 대해 검토자가 오프라인에서 검증할 수 있는 서명된 증거를 생성한다. 이는 업스트림 구성 요소의 진실성을 모두 보장하는 것이 아니라, 생성된 증거 유물이 사후에 수정되지 않았음을 수학적으로 증명하는 데 집중한다. 실행은 성공하더라도 증거가 부족하면 시스템은 과잉 주장을 거부하며 검증 실패를 반환한다.
bash
pip install assay-ai
assay tryAssay를 설치하고 15초 내에 증거 생성 및 변조 탐지 기능을 테스트하는 명령어
검증 결과는 네 가지 종료 코드로 구분되어 시스템 상태를 명확히 전달한다. 코드 0은 무결성과 정책을 모두 통과한 상태이며, 코드 1은 증거는 진짜이나 정책을 위반한 '정직한 실패'를 의미한다. 코드 2는 서명 후 데이터가 변조되었음을 나타내며, 코드 3은 입력 파일 오류를 뜻한다. 특히 정직한 실패는 감사 시 시스템의 투명성을 입증하는 핵심 지표로 활용된다.
bash
assay verify-pack challenge_pack/tampered/
# VERIFICATION FAILED
# Integrity: FAIL
# Error: Hash mismatch for receipt_pack.jsonl
# Exit code: 2변조된 증거 팩을 검증했을 때 해시 불일치로 인해 실패하는 결과 예시
기존 프로젝트에 도입하기 위한 간편한 CLI 워크플로를 제공한다. assay scan 명령어로 OpenAI, Anthropic, LangChain 등의 호출 지점을 자동으로 찾고, assay patch로 코드에 통합을 삽입한다. 이후 assay run을 통해 앱을 실행하면 모든 LLM 호출이 영수증으로 기록되어 서명된 5개 파일 형태의 증거 팩으로 패키징된다.
bash
assay scan . --report
assay patch .
assay run -c receipt_completeness -- python my_app.py프로젝트 내 LLM 호출지를 찾아 패치하고 실행하여 서명된 증거 팩을 생성하는 워크플로
EU AI Act와 같은 최신 AI 규제 준수를 위한 기능을 포함한다. 고위험 AI 시스템에 요구되는 자동 로깅 및 6개월 이상의 로그 보관 의무를 충족하며, SOC 2의 시스템 모니터링 요구사항에 대응한다. 서버에 저장된 단순 로그와 달리 Assay가 생성한 증거는 독립적으로 검증 가능하므로 규제 기관이나 구매자에게 신뢰할 수 있는 자료를 제공한다.
고급 거버넌스를 위해 Passport와 ADC(AI Decision Credentials) 개념을 도입했다. Passport는 AI 시스템의 검증 상태, 보증 범위, 유효 기간을 요약한 서명된 JSON 객체로, 시스템의 생애주기 동안 챌린지나 갱신이 가능하다. ADC는 구조화된 스키마를 통해 AI의 결정 메타데이터와 증거 팩을 결합하여 시간 제한이 있는 검증 가능한 자격 증명을 형성한다.
용어 해설
- 변조 방지/탐지(Tamper-Evident)
- — 데이터가 생성된 이후 임의로 수정되었는지 여부를 즉각적으로 확인할 수 있는 특성이다. 디지털 서명과 해시 알고리즘을 사용하여 데이터의 무결성을 보장하며, 단 1바이트의 변경도 검증 과정에서 실패로 나타나게 한다.
- 증거 팩(Proof Pack)
- — AI 워크플로 실행 과정에서 수집된 영수증, 매니페스트, 디지털 서명 등을 포함하는 5개의 파일로 구성된 패키지이다. 외부 검토자가 서버 접속 없이도 오프라인에서 해당 AI의 동작이 규정을 준수했는지 수학적으로 검증할 수 있게 한다.
- 정직한 실패(Honest Failure)
- — 시스템이 오류를 숨기거나 허위로 성공을 보고하는 대신, 설정된 기준이나 정책을 위반했음을 투명하게 기록하고 증명하는 상태이다. 감사와 규제 준수 관점에서 모호한 성공보다 신뢰할 수 있는 증거로 간주된다.
- Ed25519 서명 알고리즘(Ed25519)
- — 타원 곡선 암호학(ECC)을 기반으로 한 고성능 디지털 서명 알고리즘이다. 보안성이 높으면서도 서명 및 검증 속도가 매우 빨라 AI 실행 로그와 같은 대량의 데이터를 실시간으로 보호하는 데 적합하다.
- 모델 컨텍스트 프로토콜(MCP)
- — AI 모델이 외부 도구 및 데이터 소스와 상호작용하는 방식을 표준화하는 프로토콜이다. Assay는 MCP 프록시를 통해 도구 호출을 가로채고 영수증을 발행하여 에이전트의 행동을 감시하고 기록한다.
기술
- Assay AI
- Python
- Ed25519
- OpenAI SDK
- Anthropic SDK
- LangChain
- GitHub Actions
활용 사례
- 고위험 AI 시스템의 규제 준수 로깅
- AI 에이전트의 의사결정 감사
- 엔터프라이즈 보안 설문 자동화
- CI/CD 환경에서의 AI 성능 및 정책 검증
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 22.수집 2026. 02. 22.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.