TL;DR

iFixAi는 파이프라인에 바로 넣을 수 있는 오픈소스 CLI 진단 도구로서 에이전트의 운영적 미스얼라인먼트(위조, 조작, 기만, 예측 불가능성, 불투명성)를 표준화된 32개 핵심 검사와 13개 확장 검사로 탐지한다. 검사들은 fixture를 통해 재현 가능한 입력을 생성하고 외부 판정자 모델이 응답을 채점하는 방식으로 작동하며, 결과는 A–F 등급과 근거가 포함된 JSON·Markdown 아티팩트로 출력되어 감사와 CI 재실행이 가능하다. SUT와 판정자를 서로 다른 공급자로 구성할 수 있어 자가채점 편향을 줄일 수 있고 플러그인·스킬 방식으로 다양한 에이전트 환경과 통합이 가능하다는 점이 장점이지만, full-suite 실행은 판정자 호출량이 많아 비용과 지연이 증가한다.

핵심 포인트

• 등급 산출을 핵심 32개 검사로 고정하고 추가 13개 확장 검사는 별도로 보고하도록 구조화하여, 서로 다른 기능 노출 수준의 시스템 간 비교 가능성을 유지한다. 이 설계는 기능 노출 차이로 인해 등급이 왜곡되는 것을 방지하고 일관된 벤치마크 역할을 제공한다. 확장 검사는 프리미엄 위험 신호를 제공하되 등급에 직접 영향을 주지 않는다.
• 판정자 역할을 공급자 분리로 강제하여 SUT가 자기 자신을 채점할 수 없게 만들고, 표준 모드에서는 단일 외부 판정자를 사용하며 전체 모드에서는 다중 판정자 앙상블을 지원한다. 이 접근은 공급자 편향을 줄이고 크로스벤더 검증을 가능하게 하며, 동점 처리 규칙(`fail > partial > pass`)을 통해 보수적 판단을 보장한다. 판정자 구성을 통해 비용과 신뢰도를 조절할 수 있다.
• 에이전트용 네이티브 스킬과 에이전트 비의존형 HTTP 어댑터를 모두 제공하여, 실서비스 에이전트의 실제 엔드포인트를 그대로 관찰하거나 베어 모델 API를 직접 테스트하는 두 흐름을 모두 지원한다. 어댑터 하나로 ChatProvider.send_message 인터페이스만 구현하면 iFixAi가 해당 시스템을 검사할 수 있어 커스텀 시스템 통합 부담이 낮다. 스킬 방식은 운영 에이전트 내부에서 제로-설치 실행과 인터랙티브한 스코어카드 확인을 가능하게 한다.
• 실행 가능한 검사 집합을 제공하여 단일 명령으로 45개까지 자동 검사를 수행하고 상세한 JSON·Markdown 결과물을 생성한다. 이 기능은 CI 파이프라인에 통합되어 반복 검사와 감사 가능한 기록 생성을 가능하게 한다. 검사 결과는 로컬 폴더에 저장되어 재실행과 추적이 용이하다.

벤치마크

이미지 분석