오픈소스 에이전트 메모리에서의 검색 하이재킹 실험과 확증 기반 영향 게이트 방어

게시물 작성자는 실험 코드와 재현 가능한 프로브를 공개하여 결과의 검증 가능성을 확보했다. 댓글에서는 방어 전략의 현실적 비용과 희귀 사실 손실 문제에 대한 추가 검증을 요구하는 반응이 다수였고, 일부는 BGE와 같은 임베더의 비등방성 문제를 지적하며 더 큰 규모 실험을 권장했다. 전반적으로 실험의 실행 가능성과 데이터·코드 공개로 인해 실무자가 직접 재현하거나 확장할 수 있다는 실용적 관심이 높았다.

• 검증되지 않은 외부 입력을 그대로 신뢰된 결정에 반영하지 않도록 저장소 레이어에 승급 조건을 두는 것이 공격 비용을 높이는 현실적 방안이다. 구체적으로는 사용으로부터의 긍정적 신호 또는 독립 출처 링크 두 건 이상과 같은 확증을 요구하면 임베더에 무관하게 단일 인스턴스의 영향력을 차단할 수 있다. 다만 이 방식은 희귀하지만 진실인 문서의 즉시 리콜을 크게 감소시키므로 안전한 공개 수집 파이프라인에서만 적용해야 한다.

검색 증강 생성(RAG)

— 검색 증강 생성(RAG)은 외부 문서에서 관련 컨텍스트를 찾아 모델 입력에 주입하여 응답을 생성하는 방법이다. 질의에 대해 임베딩 기반 검색으로 후보 조각을 뽑고, 필요 시 cross-encoder 재순위를 거쳐 생성 모델에 컨텍스트로 제공하는 흐름이 핵심이다. 본 게시물 맥락에서는 검색 결과가 악성 청크에 의해 왜곡될 때 모델 출력에 미치는 영향 경로를 이해하는 데 중요하다.

임베딩 비등방성(Embedding Anisotropy)

— 임베딩 비등방성은 임베딩 공간에서 특정 방향으로 벡터가 몰려 거리·코사인 유사도 분포가 편향되는 현상이다. 이 현상이 있으면 서로 주제적으로 무관한 문장도 높은 코사인 유사도를 가질 수 있어서 유사도 기반 필터링이나 재순위화가 실패할 위험이 커진다. 게시물에서는 BGE의 비등방성 때문에 coherence 기반 재순위가 효과를 내지 못한 예시가 제시됐다.

혼란도 필터(Perplexity Filter)

— 혼란도 필터는 텍스트의 생성 가능성 또는 자연스러움을 측정하는 지표인 perplexity를 이용해 이상한(비자연스러운) 문장을 걸러내는 방법이다. 게시물에서는 자연 문장 형태의 트리거가 정상 범위의 perplexity(47–441)를 보여 필터를 통과했고 따라서 혼란도만으로는 공격을 차단할 수 없었다는 결과가 제시됐다. 이 필터는 문장 자연성에는 민감하지만 출처 위조·유사성 기반 공격을 탐지하지 못할 수 있다.

영향 게이트(확증 기반)(Influence Gate)

— 영향 게이트는 저장소에서 문서가 실제 의사결정에 영향을 주기 전에 외부 검증이나 사용으로부터의 확증을 요구하는 메커니즘이다. 구체적으로는 신용받는 결과(credit) 또는 서로 독립적인 출처로부터의 링크 두 건 이상을 만족해야 '신뢰된' 상태로 승급시켜 결과에 영향을 주게 한다. 게시물에서는 이 메커니즘이 임베딩 종류에 상관없이 악성 단일 인스턴스의 영향력을 0%로 낮췄다는 실험 결과가 보고됐다.