5개 AI 모델을 활용한 위기 시나리오 예측 파이프라인 구축 및 운영 후기

실용적 조언

다중 모델 시스템 구축 시 모델들이 서로의 출력을 보지 못하게 하여 판단의 독립성을 확보해야 한다.
프롬프트에 너무 구체적인 규칙 이름을 부여하면 모델의 추론 능력이 저하될 수 있으므로 추상화 수준을 조절해야 한다.
검색 결과가 포함되더라도 모델이 생성한 구체적인 수치는 반드시 별도의 로직으로 재검증해야 한다.

섹션별 상세

모델 간 의견 불일치 현상이 빈번하게 발생했다. 5개 모델이 동일한 시나리오에 대해 확률 점수를 25점 이상 차이 나게 부여하는 경우가 많았으며, 특히 Grok은 OSINT 신호가 포함된 시나리오에서 다른 모델들보다 훨씬 높은 위험도를 책정하는 특성을 보였다.

모델의 정박 효과(Anchoring) 문제를 해결하기 위해 평가 방식을 수정했다. 초기에는 모델들이 현재 확률을 확인한 상태에서 평가를 진행했으나, 자신의 이전 출력값에 고착되는 현상이 발견되어 각 모델이 서로의 출력과 이전 결과를 보지 못하도록 블라인드 처리했다.

프롬프트 엔지니어링 과정에서 명명된 규칙(Named rules)의 부작용이 확인됐다. 프롬프트에 특정 규칙을 명시하자 모델들이 실제 논리적 추론을 수행하는 대신 해당 규칙의 이름만을 단순히 인용하며 추론 과정을 생략하는 지름길(Shortcuts)을 선택했다.

검색 그라운딩(Grounding)의 한계가 명확히 드러났다. Google Search 기능을 통해 근거를 보강했음에도 불구하고, 블룸버그를 정확한 출처로 인용하면서도 유가를 존재하지 않는 수치인 $138로 조작해 생성하는 등 '출처는 실재하지만 내용은 허구'인 환각 현상이 발생했다.

용어 해설

공개 출처 정보(OSINT): — 뉴스, 소셜 미디어, 정부 보고서 등 공개된 출처에서 수집한 정보를 분석하는 첩보 활동이다. Grok 모델이 이러한 실시간 신호에 민감하게 반응하여 위기 확률을 높게 책정하는 경향이 확인됐다.
정박 효과(Anchoring Bias): — 처음 제시된 정보에 판단이 왜곡되어 이후의 결정에 영향을 미치는 심리적 현상이다. AI 모델들이 이전 주기의 평가 결과에 고착되는 문제를 해결하기 위해 각 평가를 독립적인 블라인드 방식으로 수정했다.
그라운딩(Grounding): — AI 모델의 답변을 외부 검색 결과나 데이터베이스 등 실제 사실과 연결하여 정확성을 높이는 기술이다. 구글 검색을 활용했음에도 불구하고 출처는 맞지만 수치는 틀린 환각 현상이 발생하여 한계가 드러났다.
블랙 스완(Black Swan): — 발생 가능성은 극히 낮지만 일단 발생하면 예측 불가능한 거대한 충격을 주는 사건을 의미한다. 시스템 내에서 고위험-저확률 시나리오를 별도로 관리하기 위한 전용 탭으로 구현됐다.
오케스트레이터(Orchestrator): — 여러 AI 모델의 독립적인 출력을 수집하고 논리적 모순을 해결하여 하나의 최종 결과물로 합성하는 관리형 모델이다. 모델 간 25점 이상의 확률 차이를 조정하는 핵심 역할을 수행한다.

언급된 도구

doomclock.app추천링크

AI 기반 위기 시나리오 확률 예측 서비스

Google Search grounding중립

모델의 답변 근거를 실시간 검색 결과와 연결하는 기능

언급된 리소스

문서Doomclock Devblog