TL;DR

iFixAi는 파이프라인에 바로 넣을 수 있는 오픈소스 CLI 진단 도구로서 에이전트의 운영적 미스얼라인먼트(위조, 조작, 기만, 예측 불가능성, 불투명성)를 표준화된 32개 핵심 검사와 13개 확장 검사로 탐지한다. 검사들은 fixture를 통해 재현 가능한 입력을 생성하고 외부 판정자 모델이 응답을 채점하는 방식으로 작동하며, 결과는 A–F 등급과 근거가 포함된 JSON·Markdown 아티팩트로 출력되어 감사와 CI 재실행이 가능하다. SUT와 판정자를 서로 다른 공급자로 구성할 수 있어 자가채점 편향을 줄일 수 있고 플러그인·스킬 방식으로 다양한 에이전트 환경과 통합이 가능하다는 점이 장점이지만, full-suite 실행은 판정자 호출량이 많아 비용과 지연이 증가한다.

주요 기능

• 실행 가능한 검사 집합을 제공하여 단일 명령으로 45개까지 자동 검사를 수행하고 상세한 JSON·Markdown 결과물을 생성한다. 이 기능은 CI 파이프라인에 통합되어 반복 검사와 감사 가능한 기록 생성을 가능하게 한다. 검사 결과는 로컬 폴더에 저장되어 재실행과 추적이 용이하다.
• 다중 공급자 기반 판단 구조를 사용하여 피평가 시스템(SUT)과 별도의 판정자(judge)를 구성할 수 있고, 기본 모드에서 단일 판정자·전체 모드에서 앙상블 판정자를 지원한다. 이 구조는 동일 공급자 자가채점(self-judged)이 아닌 교차 공급자 기반의 인디펜던트 판단을 만들 수 있게 한다. 판정자는 OpenRouter를 통해 여러 모델을 묶어 비용과 견고성을 조절할 수 있다.
• 에이전트 통합용 플러그인·스킬 설치를 제공하여 Claude Code, Codex, Cursor, VS Code 등 다양한 에이전트 환경에서 제로 플래그 실행이 가능하다. 스킬 방식은 에이전트가 자체적으로 구성을 발견하고 검사 결과를 상호작용 형태로 보여주는 흐름을 구현한다. 이로 인해 운영 팀이 별도 설치 없이 에이전트 내부에서 진단을 수행할 수 있다.
• 검사 증거의 감사 가능성을 위해 모든 입력과 구성을 manifest로 기록하고, 실행 텔레메트리는 기본적으로 익명화하여 전송하며 CI 환경에서는 자동으로 비활성화된다. 기록 방식은 재현과 규제 대응을 위해 필요한 입력·출력·환경 변수를 보존하는 방향으로 설계되었다. 사용자는 원할 때 텔레메트리 출력을 프린트하거나 비활성화할 수 있다.

어떻게 동작하는가

iFixAi는 사전 정의된 fixture와 suite를 기반으로 대상 에이전트에 여러 탐침(probe)을 보내고 그 응답을 판정자 모델군이 채점하는 방식으로 작동한다. 각 검사는 에이전트의 응답, 도구 호출, 감사 트레일 등을 검사하여 'pass/partial/fail/insufficient_evidence' 중 하나로 표기하고, 핵심 32개 검사 결과를 가중치로 합산해 A–F 등급을 계산한다. 모든 실행은 ifixai.yaml에 설정을 저장하고 JSON·Markdown로 결과를 출력하여 CI·감사 재실행이 가능하게 한다.

해결 문제

운영 중인 에이전트가 대시보드 지표로는 드러내지 못하는 권한 누수, 출처 위조, 프롬프트 조작 취약성 같은 운영적 맹점을 발견할 수 있는 자동화된 진단 수단을 제공한다. iFixAi는 동일한 검사 규격을 사용해 서로 다른 시스템을 비교 가능하게 하여 배포 전·후의 거버넌스 수준을 정량화할 수 있다. 결과물은 감사 가능한 아티팩트와 등급 체계로 제공되어 규제 대응과 내부 위험 관리 절차에 직접 투입 가능하다.

지금 주목받는 이유

오픈소스·CI 친화적 진단 도구로서 규제 대응(예: EU AI Act)과 운영 리스크 관리 수요가 증가하는 환경에서 실무에 바로 투입 가능한 검사 수와 감사 가능한 출력물을 제공하기 때문에 주목받고 있다.

차별점

• 등급 산출을 핵심 32개 검사로 고정하고 추가 13개 확장 검사는 별도로 보고하도록 구조화하여, 서로 다른 기능 노출 수준의 시스템 간 비교 가능성을 유지한다. 이 설계는 기능 노출 차이로 인해 등급이 왜곡되는 것을 방지하고 일관된 벤치마크 역할을 제공한다. 확장 검사는 프리미엄 위험 신호를 제공하되 등급에 직접 영향을 주지 않는다.
• 판정자 역할을 공급자 분리로 강제하여 SUT가 자기 자신을 채점할 수 없게 만들고, 표준 모드에서는 단일 외부 판정자를 사용하며 전체 모드에서는 다중 판정자 앙상블을 지원한다. 이 접근은 공급자 편향을 줄이고 크로스벤더 검증을 가능하게 하며, 동점 처리 규칙(`fail > partial > pass`)을 통해 보수적 판단을 보장한다. 판정자 구성을 통해 비용과 신뢰도를 조절할 수 있다.
• 에이전트용 네이티브 스킬과 에이전트 비의존형 HTTP 어댑터를 모두 제공하여, 실서비스 에이전트의 실제 엔드포인트를 그대로 관찰하거나 베어 모델 API를 직접 테스트하는 두 흐름을 모두 지원한다. 어댑터 하나로 ChatProvider.send_message 인터페이스만 구현하면 iFixAi가 해당 시스템을 검사할 수 있어 커스텀 시스템 통합 부담이 낮다. 스킬 방식은 운영 에이전트 내부에서 제로-설치 실행과 인터랙티브한 스코어카드 확인을 가능하게 한다.

사용 사례

• 배포 전 회귀 파이프라인에서 에이전트의 회귀·권한 변경·응답 왜곡 여부를 자동으로 확인하여 운영 악영향을 사전 차단하는 용도로 사용된다. 반복 실행을 통해 변경 전후 등급 변화를 추적할 수 있으며, 문제 재현을 위해 fixture 재사용이 가능하다.
• 감사·규제 대응 문서로서 에이전트 거버넌스 상태를 증빙하는 데 사용되며, JSON·Markdown 결과는 규제 제출용 기록으로 보관될 수 있다. 특히 외부 감사나 규제 질의 시 일관된 검사 결과를 제시하는 데 도움이 된다.
• 보안·레드팀 활동의 일환으로 프롬프트 인젝션, 권한 상승, 샌드백킹 등 공격성향 시나리오에 대한 취약성 신호를 수집하고 우선순위를 매기는 용도로 사용된다. 확장 검사들은 전면적 공격 시나리오를 표준화된 방법으로 탐지하는 데 기여한다.

시작하기

빠른 시작은 파이썬 3.10 이상 환경에서 `pip install "ifixai[<provider>]"`로 CLI와 원하는 공급자 익스트라를 설치한 다음 `ifixai setup`으로 마법사 설정을 저장하고 `ifixai run`을 호출하면 된다. 플러그인 방식은 Claude Code나 Codex 내부에서 플러그인을 설치하거나 `uvx ifixai install`로 에이전트 스킬을 자동 생성하여 에이전트 내부에서 `/ifixai-skill` 명령으로 실행한다. CI용 자동화는 명시적 플래그 모드(`ifixai run --provider <provider> --api-key <KEY> --suite core`)로 구성하여 스크립트화할 수 있다.

요구사항

• 런타임은 Python 3.10 이상이 필요하며, Windows 사용자는 Python Scripts 폴더가 PATH에 있어야 CLI 실행이 가능하다. 이 사항은 README의 PowerShell 주석과 일치한다.
• 외부 공급자 판정자를 사용할 경우 해당 공급자의 API 키가 필요하며, citable 실행을 위해서는 SUT와 Judge가 서로 다른 공급자 키로 설정되어야 한다. 일부 공급자에 대해서는 추가 SDK(예: anthropic, openai 등) 설치가 권장된다.
• 네트워크 접근이 필요하며 실서비스 에이전트를 HTTP 엔드포인트로 검사하려면 해당 엔드포인트에 대한 접근 권한과 필요한 인증 토큰을 준비해야 한다. 모크 공급자로 빠른 로컬 검증은 네트워크 없이도 가능하다.

벤치마크

이미지 분석