LLM 운영의 입력·출력 보안을 위한 자체 호스팅 프록시 Aegis 공개

LLM 운영의 안전성과 거버넌스를 목표로 한 자체 호스팅 프록시 Aegis가 제안되었다. 이 시스템은 프롬프트 입력을 10엔진 파이프라인으로 검사해 정규화 및 악성 패턴/비밀 토큰 탐지를 수행하고, RAG 컨텍스트까지 포괄적으로 점검한다. 출력 측은 비동기로 로그를 분석해 엔트로피 감소나 분포 차이를 확인하고 즉시 경보를 발생시키며, 로그의 무결성은 SHA-256 해시 체인과 Merkle Mountain Range를 통해 보장한다. 또한 AGPLv3 라이선스의 오픈소스 프로젝트로, OpenAI 스타일 클라이언트와의 호환성을 유지하기 위해 BASE_URL만 변경하면 된다. 이로써 보안·감사 요구를 충족하면서도 프로덕션 레이턴시를 최소화하려는 실무 관행에 기여한다.

Aegis의 구현 세부는 입력 경계의 다층 체크, 출력 경계의 엔트로피/다이버전스 기반 모니터링, 그리고 크립토그래픽 무결성 보강으로 나뉜다. 실제로 엔진 구성이 10개인 파이프라인은 보안 취약점 탐지와 인젝션 차단의 실효성을 높이고, Shannon 엔트로피와 KL/JS 다이버전스 임계치를 이용한 경보 체계는 출력 품질 및 안전성 유지에 기여한다. 더불어 Rust 기반 가속으로 무결성 로그 체인이 빠르게 확인되며, 저장소를 통한 재현 가능성도 확보된다.