인지적 페널티: 탈중앙화 합의를 위한 엣지 네이티브 SLM에서의 시스템 1 및 시스템 2 추론 절제 연구

최근 LLM의 추론 시간(Inference-time compute)을 늘려 성능을 높이려는 시도가 많지만, 탈중앙화 자율 조직(DAO)과 같은 적대적 환경에서는 오히려 성능이 급격히 저하되는 '연산-정확도 역전' 현상이 발생함을 입증했습니다. 특히 9B 이하의 소형 언어 모델(SLM)이 복잡한 법률적 판단을 내릴 때, 과도한 추론 과정이 모델을 혼란에 빠뜨려 합의 시스템의 안정성을 해칠 수 있음을 경고합니다.

딥러닝 모델의 추론 방식은 크게 두 가지로 나뉜다. 학습된 가중치를 통해 즉각적으로 다음 토큰을 예측하는 '시스템 1(직관)'과, 답변 전 내부적인 사고 과정(Chain-of-Thought)을 거치는 '시스템 2(심사숙고)'이다. 기존 연구들은 시스템 2가 복잡한 논리 문제를 푸는 데 유리하다고 보았으나, 본 논문은 엣지 환경의 소형 모델(SLM)이 방대한 법률 텍스트를 처리할 때 이 '심사숙고' 과정이 오히려 독이 될 수 있음을 지적한다.

핵심 원리는 '문맥 희석(Context Dilution)'에 있다. Transformer 아키텍처의 Attention Mechanism은 입력된 텍스트와 모델이 스스로 생성한 텍스트 사이에서 중요도를 배분한다. 시스템 2 모드에서 모델이 너무 긴 내부 독백을 생성하면, 정작 중요한 '헌법(System Prompt)'이나 '제안서 본문'에 할당되어야 할 주의력이 모델 자신의 장황한 생각에 의해 희석된다. 이로 인해 모델은 초기 지침을 잊어버리거나 논리적 일관성을 잃게 된다.

결과적으로, 소형 모델에게는 억지로 생각을 많이 하게 시키는 것보다, 사전 학습 단계에서 내재화된 '파라미터화된 직관'에 의존하는 것이 적대적 공격 방어와 합의 도달 속도 측면에서 훨씬 경제적이고 구조적으로 우월하다는 결론에 도달한다.

실험을 위해 Qwen-3.5-9B 모델을 단일 아키텍처로 사용하고, API 레벨에서 'think' 옵션을 켜고 끄는 방식으로 시스템 1(Control Arm)과 시스템 2(Experiment Arm)를 엄격히 분리했다. 이를 통해 토크나이저나 학습 데이터의 차이와 같은 변수를 제거하고 오직 추론 시간 연산의 영향만을 고립시켰다.

데이터셋은 Optimism DAO의 실제 제안서를 기반으로 세 가지 티어로 구성했다. 티어 1은 정상적인 제안서, 티어 2는 정중한 문체 속에 헌법 위반 내용을 숨긴 '아첨 함정(Sycophancy Trap)', 티어 3은 경제적으로 모호한 사례이다. 각 제안서에 대해 독립적인 20회의 시도를 수행하여 총 840회의 추론 데이터를 수집했다.

성능 측정은 DSPy를 활용해 구조화된 JSON 출력을 요구했으며, Pydantic 검증을 통과하지 못하거나 토큰 제한을 초과하는 경우를 '비수렴(Non-Convergence)'으로 정의했다. [생성된 텍스트의 유효성 검사 → 스키마 일치 여부 확인 → 실패 시 인지적 붕괴로 기록] 순의 과정을 통해 모델의 지시 이행 능력을 정량화했다.

시스템 1(직관 모드)은 모든 테스트에서 100%의 정확도와 적대적 방어력을 보여주었으며, 평균 12.8초 만에 결론에 도달했다. 반면 시스템 2(추론 모드)는 정상 제안서에서도 24.5%의 인지적 붕괴를 일으켰으며, 적대적 공격에 대한 방어 성공률은 68.5%로 급락했다.

지연 시간 측면에서 시스템 2는 평균 226.4초가 소요되어 시스템 1 대비 17배 이상의 오버헤드를 기록했다. 이는 블록 생성 시간이 2초인 Optimism 네트워크에서 약 113개 블록 동안 의사결정이 지연됨을 의미하며, 공격자가 이 틈을 타 자산을 탈취하거나 시장을 조작할 수 있는 Governance Extractable Value(GEV) 위험을 낳는다.

합의 일관성 측정 결과, 시스템 1은 20번의 반복 시행에서 100% 동일한 결과를 내놓았으나, 시스템 2는 72.6%의 일관성만을 보였다. 이는 비잔틴 장애 허용(BFT) 합의 임계치인 66.7%에 근접한 수치로, 실제 네트워크 운영 시 잦은 합의 실패와 포크(Fork)를 유발할 수 있는 불안정한 수준임이 밝혀졌다.

본 연구는 Qwen-3.5-9B의 고유한 아키텍처를 활용하여 추론 메커니즘을 절제(Ablation)했다. 시스템 1은 즉각적인 Autoregressive 디코딩을 수행하며, 시스템 2는 Latent Chain-of-Thought 트레이스를 생성한 후 최종 Verdict를 내린다. 연구팀은 시스템 2의 실패 원인을 'Context Dilution'과 'Cybernetic Collapse'로 분석했다.

수학적으로 Attention weights는 제한된 자원이다. 모델이 생성하는 내부 독백이 15,000자를 초과하면, 초기 시스템 프롬프트에 고정되어야 할 Attention 에너지가 분산된다. [입력 토큰 수 증가 → Attention Matrix의 소프트맥스 값 분산 → 핵심 지침의 가중치 감소 → 지시 불이행]의 과정을 거치게 된다.

또한, RLHF(인간 피드백 기반 강화학습) 과정에서 주입된 '친절함'과 '도움이 됨'이라는 정렬 원칙이 시스템 2의 확장된 연산 자원을 만나면서, 모델이 공격자의 악의적인 제안을 거절하는 대신 이를 정당화하는 'Reasoning Theater' 현상을 유도한다는 점을 기술적으로 지적했다.

본 연구는 Transformer 기반 아키텍처의 주의력 희석 문제에 집중하고 있으므로, 고정된 크기의 은닉 상태를 사용하는 Mamba나 RWKV와 같은 상태 공간 모델(SSM)에서는 다른 결과가 나올 수 있음을 언급했다. 또한, 실험 대상이 9B 파라미터 급의 SLM에 한정되어 있어 더 큰 규모의 모델에서의 양상은 추가 연구가 필요하다.