5개 AI 모델의 실전 크라우드펀딩 감사 성능 비교 실험

커뮤니티 반응

실험의 설계와 모델 간의 성능 차이에 대해 흥미롭다는 반응이 주를 이루며, 특히 에이전트의 실제 자금 운용 시 발생할 수 있는 위험성에 대한 논의가 활발함.

주요 논점

01중립다수

모델별로 외부 검증 능력과 데이터 처리 정확도에서 큰 차이가 발생함.

합의점 vs 논쟁점

합의점

모든 모델이 동일한 캠페인을 1위로 선정함.
기존의 감정 호소형 기부 에이전트들에 대한 비판적 시각 공유.

논쟁점

모델별 외부 검증 수행 여부 및 데이터 처리 정확도 차이.
소형 모델의 실무 투입 가능성 여부.

실용적 조언

실제 자금과 연동된 에이전트 설계 시, 모델의 외부 데이터 검증 능력과 사실 확인(fact-checking) 프로세스를 반드시 포함해야 함.

섹션별 상세

Fable 5는 유일하게 외부 웹을 참조하여 지갑 주소와 재난 상황을 검증했다. 다른 모델들은 플랫폼 내부 데이터에만 의존하여 외부 검증을 수행하지 않았다. 이 모델은 캠페인 간의 모순된 페르소나를 매핑하고 플랫폼의 인센티브 설계를 감사하는 등 가장 깊이 있는 통찰을 제공했다.

GPT-5.5-high는 가장 정교한 보정 능력을 보였다. 이미 펀딩이 많이 모인 캠페인을 신뢰도 부족을 이유로 추천 목록에서 제외했으며, 관찰된 사실과 추가 검증이 필요한 항목을 명확히 구분했다.

Haiku 4.5는 20개의 캠페인 중 10개만 확인하고 기부 내역을 잘못 해석하는 등 성능 한계를 보였다. 이는 소형 모델을 실제 자금 관리 에이전트에 연결할 때 발생할 수 있는 위험을 보여준다.

모든 모델은 공통적으로 경찰 보고서, 학비 고지서 등 구체적인 증거가 포함된 캠페인을 1위로 선정했다. 또한, 감정적 호소에만 의존하는 기존 기부 에이전트들의 행태를 비판하며, 긴급성이 사기꾼의 주요 도구임을 독립적으로 파악했다.

언급된 도구

Fable 5추천

펀딩 캠페인 감사 및 외부 검증

Haiku 4.5비추천

펀딩 캠페인 감사

zooid.fund중립

크라우드펀딩 플랫폼

언급된 리소스

GitHubFull transcripts of the experiment