사고 스트림이 중요한가? 비디오 장면 이해를 위한 Gemini 비전-언어 모델의 추론 평가

비디오 이해 모델이 최종 답변을 내놓기 전 수행하는 내부 추론 과정인 '사고 스트림(Thought Streams)'의 실질적 효용성을 분석했습니다. 모델이 더 많이 생각할수록 성능이 무한히 좋아지는 것이 아니라 특정 지점에서 정체된다는 사실과, 사고 예산이 부족할 때 발생하는 '압축 단계 환각' 현상을 규명하여 효율적인 모델 배포 전략을 제시합니다.

기존의 비전-언어 모델(VLM)은 비디오를 입력받아 즉시 결과를 출력하는 블랙박스 형태로 평가되어 왔다. 하지만 최근 Gemini 2.5와 같은 모델은 최종 답변 전 내부적인 Chain-of-Thought(사고 스트림)를 생성할 수 있게 되었다. 이 논문은 이 사고 스트림이 단순히 겉치레인지, 아니면 실제 최종 출력의 품질을 결정하는 핵심 요소인지를 딥러닝의 추론 예산(Inference Budget) 개념과 연결하여 분석한다.

모델이 비디오의 각 프레임을 Embedding으로 변환하고 Attention Mechanism을 통해 시공간적 관계를 파악할 때, 사고 스트림은 이 복잡한 정보를 텍스트 형태로 구조화하는 중간 저장소 역할을 한다. 연구진은 이 과정에서 '생각의 양'이 늘어날수록 모델이 더 구체적인 개체(Entity)를 식별하고 모호한 표현을 줄인다는 점에 주목했다.

결과적으로 사고 스트림은 모델이 비디오 내의 수많은 시각적 신호 중 무엇에 우선순위를 두는지 보여주는 관측 가능한 흔적(Trace)이다. 이를 통해 모델이 단순히 통계적 확률로 단어를 생성하는 것이 아니라, 내부적인 논리 전개 과정을 거쳐 최종 JSON 데이터를 구성한다는 메커니즘을 확인했다.

VideoDB를 사용하여 100시간 분량의 비디오를 시각적/의미적 경계에 따라 장면(Scene) 단위로 분할했다. 각 장면에서 초당 1프레임(1 FPS)으로 최대 10개의 프레임을 추출하여 Gemini 2.5 Flash 및 Flash Lite 모델에 입력값으로 제공했다.

모델의 사고 예산(Thinking Budget)을 128, 512, 1024, Unlimited(Dynamic)로 설정하여 독립적인 실험을 수행했다. 입력 프레임 수에 따른 Input Token은 일정하게 유지하되, 모델이 최종 JSON 출력을 내놓기 전 생성할 수 있는 Thought Token의 양만 변수로 조절하여 성능 변화를 관측했다.

평가 지표 중 Contentfulness는 사고 스트림에서 '분석을 시작하겠다'와 같은 메타 발언을 정규표현식으로 제거한 뒤, NLTK를 이용해 명사구와 동사구의 비중을 계산한다. [전체 단어 수 → 메타 발언 필터링 → POS 태깅 → 내용어 수 / 전체 단어 수] 과정을 거쳐 0에서 1 사이의 점수를 산출하며, 이는 사고의 밀도를 의미한다.

Thought–Final Coverage는 GPT-5를 판정관으로 활용하여 사고 스트림과 최종 출력 간의 사실 일치도를 측정한다. 사고 스트림의 개별 사실 항목들을 추출하고 이를 최종 JSON의 값들과 Fuzzy Matching(정확도 75% 기준)을 통해 비교하여, 모델이 생각한 내용이 얼마나 충실하게 결과에 반영되었는지(Thought Coverage)와 결과에 포함된 내용이 사고 과정에 근거하는지(Output Grounding)를 계산한다.

실험 결과, Flash Lite 1024 모델이 F1 스코어 0.959를 기록하며 가장 우수한 성능을 보였다. 이는 무제한 예산을 사용한 Flash Dynamic(F1 0.957)보다 근소하게 높으면서도 전체 토큰 사용량은 약 30% 적어 최적의 효율성을 입증했다.

사고 예산이 128토큰으로 제한된 Flash 128의 경우, Output Grounding 점수가 0.767로 급격히 떨어졌다. 이는 최종 출력 항목 4개 중 1개는 사고 과정에서 언급되지 않은 '환각'임을 의미하며, 충분한 추론 시간이 주어지지 않을 때 모델이 논리적 근거 없이 결론을 도출하는 경향이 있음을 보여준다.

Dominant Entity Analysis에서는 예산이 늘어날수록 모델이 '사람(person)'과 같은 일반적인 명칭 대신 '요리사(chef)', '스트리머(streamer)'와 같은 구체적인 명칭을 사용하는 비율이 증가했다. Flash 128은 약 15%의 장면에서 일반 명칭을 사용했으나, Flash Dynamic에서는 이 수치가 8%로 감소하여 사고의 깊이가 구체성으로 직결됨이 확인됐다.

본 연구는 Gemini 2.5의 내부 추론 과정을 '관측 가능한 흔적'으로 취급하여 분석했다. Flash 모델은 사고 과정에서 자신의 추론 단계를 서술하는 스타일을 보인 반면, Lite 모델은 장면의 시각적 요소를 직접 묘사하는 데 집중하는 경향을 보였다. 이러한 스타일 차이로 인해 Lite 모델은 더 적은 토큰으로도 높은 Contentfulness를 달성할 수 있었다.

수학적으로 F1 스코어는 Thought Coverage(TC)와 Output Grounding(OG)의 조화 평균으로 계산된다. [2 * TC * OG / (TC + OG)] 연산을 통해 두 지표 간의 균형을 평가하며, 이는 모델의 내부 일관성을 나타내는 핵심 척도가 된다.

실험에 사용된 데이터셋은 37개의 시각적 스타일과 38개의 도메인을 포함하는 100시간 분량의 비디오로 구성되었으며, 93,000개 이상의 장면 레벨 결과를 생성하여 통계적 유의성을 확보했다. 특히 동일 비디오에 대해 반복 실행 시 사고 스트림의 유사도가 0.893으로 나타나, 모델의 추론 패턴이 비교적 결정론적(Deterministic)임을 확인했다.

본 연구의 지표는 사고 과정과 출력 간의 '일관성'을 측정할 뿐, 실제 정답(Ground Truth)과의 '정확성'을 직접 평가하지는 않는다. 또한 1 FPS의 장면 단위 분석에 국한되어 있어, 장기적인 시간적 추론이나 복잡한 서사 구조 이해에 대한 평가는 포함되지 않았다.