AISPA: 시스템 프롬프트 사용자 중심 감사

상업용 LLM 제품에서 시스템 프롬프트가 사용자의 경험과 안전 경계에 직접적 영향을 미치며, 프롬프트 비공개로 인해 이용자·감독자·연구자가 해당 지침의 적절성을 검증하기 어렵다는 구조적 문제가 존재합니다. AISPA는 사용자 권리 관점에서 실무적으로 적용 가능한 감사 기준과 절차를 마련하여 프롬프트 수준의 책임 추적가능성을 확보하려는 실천적 방안을 제공합니다. 이 결과는 규제·인증 체계 설계와 기업 내부 거버넌스 개선에 구체적 근거를 제공할 수 있습니다.

시스템 프롬프트는 배포된 LLM 제품에서 모델 행동을 지속적으로 규정하는 핵심 구성요소이며, 프롬프트의 문장 하나하나는 사용자에게 안전·프라이버시·정직성 관점에서 실질적 영향을 미칠 수 있습니다. 따라서 프롬프트를 문장(스팬) 단위로 분해하여 각 스팬이 어느 윤리적 차원과 연관되는지, 그리고 그 지시가 사용자를 보호하는지 혹은 해를 끼칠 가능성이 있는지를 표지하는 방식으로 접근하면 문제 지시의 위치와 성격을 정밀하게 추적할 수 있습니다. 이런 스팬 단위 설계는 개발자·감사자·규제자가 특정 문장에 대한 시정 권고를 내리거나 인증 기준을 적용할 때 실무적 유틸리티를 제공합니다.

연구팀은 공개·유출 리포지토리에서 88개 제품의 시스템 프롬프트를 수집한 뒤 스팬 단위로 감사 가능한 범위를 정의하고 비핵심 논리 스팬과 핵심 논리의 보완절을 대상으로 라벨링을 수행했습니다. 라벨링 프로토콜은 세 단계로 구성되어 있으며 1단계에서 LLM(Claude-4.6-Opus)이 후보 스팬과 초기 차원·극성을 제안하고 2단계에서 여섯 명의 훈련된 주석자가 제안의 타당성을 심사하며 3단계에서 세 명의 도메인 전문가가 최종 검증·조정하여 문제적 레이블은 만장일치로 확정했습니다. 각 단계별 역할 분담은 LLM의 고재현율과 인간의 높은 정밀도를 결합하도록 설계되었고, 주석자 교정용 캘리브레이션과 IAA 측정(쌍별 0.933)을 포함해 품질 관리를 실행했습니다.

감사 결과 3,249개 지시문에서 생성된 2,420개의 (스팬, 차원) 엔트리를 최종 수집했고, 이 중 2,346개는 보호(+1)로, 74개는 문제(-1)로 분류되었습니다. 시간적 추이는 2024년 평균 프롬프트 길이가 약 9,000자였던 반면 2025년에는 30,000자를 넘겼고, 동일 기간 보호 지시 평균은 약 15.0에서 38.4로 증가하여 프롬프트가 길어지고 보호적 내용이 늘어나는 경향이 관찰되었습니다. 제품 수준에서는 98.9%가 최소 하나의 보호 지시를 포함했으나 단지 23.9%만이 여덟 감사 차원을 모두 커버했고 약 38.6%의 제품은 적어도 하나의 문제적 지시를 포함하는 등 보호의 보편성과 완전성 사이에 간극이 존재함이 드러났습니다.

데이터 수집은 공개·유출 GitHub 리포지토리로부터 88개 제품의 시스템 프롬프트를 확보하고 교차 저장소 오버랩 검증으로 진위 여부를 확인하는 방식으로 진행되었습니다. 라벨링 파이프라인은 1단계 LLM 후보 생성(Claude-4.6-Opus), 2단계 훈련된 주석자(6인)의 독립 심사, 3단계 도메인 전문가(3인)의 집단 심의로 구성되며, 주석자 캘리브레이션에서 쌍별 IAA가 0.933으로 보고되어 높은 주석 일관성이 확보되었습니다. 엔트리 정의는 (스팬, 차원) 쌍이며 스팬 하나가 여러 차원에 해당하면 다중 엔트리로 기록했고 최종 집계는 2,420개 엔트리(1,818 유니크 스팬)로 정리되었습니다.

연구 코퍼스는 공개·유출 리포지토리에서 수집한 샘플에 의존하므로 표본 편향 가능성이 존재합니다. 수집된 프롬프트가 현재 배포 중인 프로덕션 버전과 완전 일치하지 않을 수 있어 결과는 유출 시점의 스냅샷으로 해석해야 합니다. 또한 핵심 기능을 정의하는 코어 로직 스팬은 감사 대상에서 제외되었기 때문에 제품 설계상 의도적 안전 처리의 일부가 분석 밖에 있을 가능성이 남습니다.