하이브리드 사고 MLLM의 응답 패턴 정렬

왜 중요한가

Hybrid-thinking MLLM은 같은 모델에서 추론량과 지연시간을 조절하지만, non-thinking 모드에서 사고 과정 노출과 반복 같은 사용자 가시적 오류가 더 자주 발생한다. 25개 모델 설정의 matched-mode 비교에서 17개 쌍은 thinking과 non-thinking의 Trigger 차이가 20%포인트를 넘었고, 최대 격차는 48.64%였다. 따라서 정답률만 최적화하면 모드 전환에 따른 응답 품질 저하를 놓칠 수 있으며, 응답 형식 자체를 측정하고 학습하는 절차가 필요하다.

핵심 기여

응답 패턴을 측정하는 PatternEval

PatternEval은 2,415개의 이미지-프롬프트 쌍으로 구성된 실패 중심 멀티모달 벤치마크다. 시각 인식·그라운딩 1,181개, OCR·구조화 이미지 이해 579개, 멀티모달 지식 추론 655개를 포함하고, 사고 과정 노출·응답 반복·논리적 모순·수행적 추론을 별도 판정한다. 자연스러운 배포 빈도보다 오류가 드러나는 어려운 사례를 의도적으로 모았기 때문에 조건부 스트레스 테스트로 사용한다.

추론 모드 간 응답 격차 측정

동일한 프롬프트에서 thinking과 non-thinking 응답을 각각 생성하고, Qwen3-Max로 정답성, Seed-2.0-Pro로 네 가지 패턴 오류를 독립 판정한다. 25개 모델 설정 모두 non-thinking Trigger가 더 높았으며, Qwen3.5 계열에서는 4B부터 397B-A17B까지 정확도가 상승해도 모드 간 Trigger 격차가 21.36~26.63%포인트로 유지됐다. 이 결과는 모델 규모와 정답률의 향상이 응답 패턴 정렬을 자동으로 보장하지 않음을 수치로 뒷받침한다.

PatternRM과 PatternRL을 통한 패턴 인식 학습

PatternRM은 응답만 입력받아 네 가지 오류의 발생 여부를 예측하고, PatternRL은 그 예측을 강화학습 보상에서 감점 신호로 사용한다. Qwen3-VL-4B에서는 correctness-only BaseRL 대비 non-thinking Trigger가 51.55%에서 38.47%로, Qwen3-VL-8B에서는 44.33%에서 29.98%로 낮아졌다. PatternRL의 정확도는 각각 47.30%와 50.71%로, BaseRL의 48.05%와 50.57%에 근접했지만 모델 크기에 따른 정확도 비용은 남았다.

핵심 아이디어 이해하기

Transformer 기반 MLLM은 같은 이미지와 질문을 받아도 추론 예산을 더 쓰는 thinking 모드와 짧은 답을 만드는 non-thinking 모드에서 서로 다른 출력을 생성한다. 기존 정답성 평가는 최종 답이 맞는지만 확인하므로, 답변 안에 초안 사고가 섞이거나 같은 결론이 반복되거나 서로 맞지 않는 문장이 남는 문제를 놓칠 수 있다. 논문은 이 문제를 사용자에게 보이는 응답 패턴의 안정성으로 분리한다.

PatternEval은 이미지와 질문을 입력한 뒤 각 모드의 최종 사용자 응답만 평가한다. 정답성 판정은 응답과 기준 답을 비교해 맞으면 1, 틀리면 0으로 처리하고, 패턴 판정은 사고 과정 노출·반복·모순·수행적 추론 네 항목의 발생 여부를 각각 0 또는 1로 기록한다. 네 항목 중 하나라도 발생하면 Trigger가 1이 되므로, 높은 정확도와 낮은 Trigger를 함께 봐야 실제 사용 가능한 응답을 구분할 수 있다.

실험에서는 non-thinking 응답에서 사고 과정 노출이 가장 흔했고, 50개 모델-모드 행의 평균 발생률은 사고 과정 노출 12.75%, 반복 8.49%, 수행적 추론 4.72%, 논리적 모순 2.74%였다. 응답 길이가 길수록 Trigger도 증가했으며, 길이와 Trigger의 Pearson 상관계수는 non-thinking에서 0.64, thinking에서 0.84였다. 특히 가장 긴 구간의 incorrect non-thinking 응답은 약 86%의 Trigger를 기록했고, correct non-thinking 응답도 약 56%로 정답성만으로 패턴 품질을 보장하지 못했다.

PatternRL은 정답성 보상을 유지하면서 패턴 오류 예측값에 작은 감점을 붙인다. CoT와 반복에는 각각 0.05, 모순과 수행적 추론에는 각각 0.02의 가중치를 적용하고, PatternRM은 계산 비용을 줄이기 위해 60% 확률로 호출한다. 그 결과 정답을 찾는 능력을 완전히 대체하지 않으면서 사용자에게 노출되는 응답의 오류 패턴을 줄이는 학습 목표가 형성된다.

방법론

PatternEval은 광범위한 이미지-프롬프트 후보군에서 모델 rollout을 생성하고, 특히 어려운 non-thinking 응답에서 반복되는 사용자 가시적 오류를 찾는 방식으로 구성했다. 이후 초기 오류와 관련된 과제·프롬프트·응답 형태를 확장하고, 결정적인 답 형식만 확인하는 범주는 줄이는 한편 응답 변이가 큰 범주는 유지했다. 최종 데이터는 VG 1,181개, OS 579개, KR 655개로 균형을 맞췄으며, 실제 배포 빈도가 아니라 오류 노출 조건에 대한 진단용 집합으로 정의했다.

각 이미지-질문 쌍을 두 추론 모드에 넣어 응답을 생성하고, 별도 reasoning 채널이 존재할 경우에도 사용자에게 전달되는 최종 응답만 평가했다. Qwen3-Max는 원본 과제의 기준 답과 평가 규칙을 이용해 정답 여부를 판정하고, Seed-2.0-Pro는 이미지와 응답을 함께 보며 네 가지 패턴 오류를 판정했다. 전체 Trigger는 네 오류 중 하나라도 있으면 1로 집계하며, thinking과 non-thinking의 차이는 동일 프롬프트에 대한 모드별 비율을 비교해 계산했다.

자동 패턴 판정기의 신뢰도를 맞추기 위해 PatternEval과 겹치지 않는 2,500개 응답을 별도로 수집했다. Seed-2.0-Pro, Kimi-K2.6, Qwen3.5-397B의 판정이 일치하거나 불일치하는 사례를 약 7 대 3으로 섞고, 오류 Trigger가 약 70%가 되도록 구성한 뒤 사람의 네 항목 주석을 기준값으로 삼았다. Seed-2.0-Pro는 이미지 입력을 사용했을 때 모순 F1이 가장 높았고, GPT-5.5는 전체 F1이 가장 높았지만 멀티모달 근거와 비용을 함께 고려해 Seed-2.0-Pro를 운영 판정기로 선택했다.

PatternRM은 Qwen3.5-27B에서 시작해 90K 응답 중 세 판정기가 완전히 일치한 52,344개를 중심으로 학습했다. 선택 사례를 oversampling해 SFT 인스턴스 57,578개를 만들고, thinking 형식 34,547개와 직접 응답 형식 23,031개로 나눴다. 직접 예측형 PatternRM의 calibration macro-F1은 71.3%로 thinking형 70.2%보다 높아 강화학습 보상 모델로 채택했다.

PatternRL은 정답성 검증기 점수에 PatternRM의 오류별 감점을 더한 보상을 사용한다. 검증기는 마지막 boxed 답을 추출해 정규화된 답 일치와 기호적 동치를 확인하고, 미해결 사례는 GPT-oss-120B로 판정한다. 네 오류 감점의 총합은 최대 0.1로 제한되며, 오답은 항상 0점, 정답은 오류 패턴에 따라 0.9~1점이 되도록 설계해 정답성 목표가 패턴 목표에 의해 뒤집히지 않게 했다.

주요 결과

25개 모델 설정을 동일한 2,415개 프롬프트에서 비교한 결과, 모든 thinking–non-thinking 쌍에서 non-thinking의 패턴 오류 비율이 더 높았다. 25개 쌍 중 17개는 모드 간 Trigger 격차가 20%포인트를 넘었고, Kimi-K2.6의 격차는 48.64%포인트였다. Qwen3.5 계열에서도 non-thinking Trigger가 대형 모델에서 약 28.45~33.00%로 정체된 반면 thinking Trigger는 22.19%에서 4.23%로 낮아졌다.

오류 유형별로는 CoT leakage가 가장 큰 비중을 차지했고, non-thinking 응답에 과정 서술·중간 분석·자기 수정·반복 추론 조각이 남는 경우가 많았다. 전체 50개 모델-모드 행의 평균 Trigger는 CoT leakage 12.75%, response repetition 8.49%, performative reasoning 4.72%, logical contradiction 2.74%였다. CoT 우선 귀속 규칙 때문에 모순과 수행적 추론이 다른 오류 안에 포함될 수 있어 네 비율을 독립적인 실제 유병률로 해석하지 않았다.

응답 길이와 Trigger 사이에는 양의 연관성이 있었다. 모델-정확도 집계에서 Pearson 상관계수는 non-thinking 0.64, thinking 0.84였으며, 길이 구간을 여섯 개로 나눠도 네 모드-정확도 조합에서 Trigger가 대체로 단조 증가했다. 가장 긴 구간에서 incorrect non-thinking은 약 86%, correct non-thinking은 약 56%, incorrect thinking은 약 52%, correct thinking은 약 22%를 기록해 길이·정확도·추론 모드가 각각 패턴 오류와 관련됨을 확인했다.

PatternRL은 correctness-only BaseRL보다 응답 패턴을 안정화했다. Qwen3-VL-4B에서 BaseRL의 non-thinking Trigger 51.55%가 PatternRL에서 38.47%로 13.08%포인트 낮아졌고, Qwen3-VL-8B에서는 44.33%가 29.98%로 14.35%포인트 낮아졌다. 그러나 일반 벤치마크 전체 정확도는 4B에서 BaseRL 77.89% 대비 PatternRL 76.02%로 낮아졌고, 8B에서는 79.59% 대비 78.89%로 소폭 낮아져 패턴 개선과 정답성 사이의 비용이 남았다.

기술 상세

PatternEval의 입력은 이미지-질문 쌍 x와 기준 답 g이며, 모델은 추론 모드 m에 따라 사용자 응답을 생성한다. 정답성 검증기는 응답과 g를 비교해 이진 점수를 만들고, 패턴 판정기는 CoT leakage·repetition·contradiction·performative reasoning 네 항목을 각각 이진 출력한다. 네 항목 중 하나라도 1이면 해당 응답의 Trigger가 1이 되며, 같은 프롬프트 집합에서 두 모드의 Trigger를 비교해 non-thinking 취약성을 측정한다.

네 패턴은 서로 완전히 배타적이지 않다. CoT로 귀속된 증거는 contradiction이나 performative reasoning으로 다시 세지 않는 CoT-priority 규칙을 적용하고, 독립적으로 발생한 모순이나 근거 없는 정당화는 별도 오류로 남긴다. 이 방식은 동일 응답에서 여러 문제가 발생할 때 총 Trigger와 유형별 비율을 함께 읽도록 만든다.

PatternRM 학습에는 세 판정기가 동일하게 부여한 네 차원 이진 라벨을 사용했다. Qwen3.5-27B를 초기화 모델로 삼고 이미지 없이 응답 텍스트만 입력해 오류 벡터를 예측하도록 SFT했으며, 직접 예측형의 macro-F1은 71.3%였다. 이미지 호출을 제거한 구조는 강화학습 rollout마다 반복되는 판정 비용을 낮추는 목적을 가진다.

PatternRL은 정답성 점수와 패턴 감점을 결합한다. CoT와 repetition의 가중치는 각각 0.05, contradiction과 performative reasoning의 가중치는 각각 0.02이며, PatternRM이 호출된 경우 감점 총량은 0.1을 넘지 않는다. 따라서 오답은 0점으로 남고 정답 응답은 0.9~1점 범위에서 패턴 오류가 많을수록 낮아지며, 정답 탐색과 응답 표현을 동시에 최적화한다.

학습은 Qwen3-VL-4B-Instruct와 Qwen3-VL-8B-Instruct를 초기 정책으로 삼아 GRPO로 수행했다. 44,200개 프롬프트는 멀티모달 수학·논리·문서 이해에 걸쳐 구성했고, 두 모델은 각각 600단계와 400단계 학습했다. 4B에서는 PatternRL이 BaseRL보다 정확도 손실이 크게 나타났고, 8B에서는 문서 이해 평균이 88.20%에서 88.47%로 상승하는 등 패턴 감점에 대한 수용력이 상대적으로 높았다.

한계점

PatternRL은 non-thinking Trigger를 꾸준히 낮췄지만 오류를 제거하지는 못했다. 논문은 초기 학습 단계의 noisy하고 일관되지 않거나 패턴 편향적인 데이터가 이미 행동에 영향을 줄 수 있어, 강화학습 단계의 가벼운 보상만으로는 충분하지 않다고 판단한다. 더 이른 mid-training이나 SFT 단계에서 고품질 supervision과 응답 패턴 제약을 함께 넣는 접근이 필요하다.

PatternRL의 정확도 비용은 모델 용량에 따라 달랐다. 4B 모델은 특히 수학과 추론 과제에서 BaseRL보다 평균 정확도가 크게 낮아졌지만 8B 모델은 하락폭이 제한적이었다. 작은 모델이 정답을 찾는 과정에서 탐색적이고 긴 자기 수정 궤적에 의존할 수 있는데, PatternRM은 이런 궤적도 패턴 오류로 감점할 수 있다는 점이 원인으로 제시됐다.

실무 활용

PatternEval은 멀티모달 모델을 배포하기 전에 정확도와 별도로 사용자 가시적 응답 오류를 점검하는 평가 틀로 사용할 수 있다. PatternRM과 PatternRL은 non-thinking 응답에서 과정 노출과 반복을 줄이도록 후속 학습 신호를 추가하는 방식이며, 논문 결과는 4B·8B 모델에서 Trigger 감소를 확인했다.

thinking과 non-thinking API를 함께 제공하는 MLLM의 모드 간 응답 품질 비교
OCR·차트·그라운딩·지식 추론 과제에서 사용자 가시적 오류 유형별 진단
정확성 보상만 사용하는 멀티모달 강화학습에 응답 패턴 감점 신호 추가
응답 길이와 정답성을 함께 기준으로 하는 배포 전 품질 점검

코드 공개 여부: 미확인

키워드

멀티모달 대규모 언어 모델(MLLM)하이브리드 사고(Hybrid-Thinking)응답 패턴 정렬(Response-Pattern Alignment)PatternEvalPatternRMPatternRL사고 과정 노출(Chain-of-Thought Leakage)강화학습

용어 해설

하이브리드 사고(Hybrid-Thinking): — 하나의 MLLM이 추가 추론을 수행하는 thinking 모드와 짧은 직접 응답을 생성하는 non-thinking 모드를 모두 제공하는 추론 방식이다. 두 모드는 계산량과 지연시간이 다르지만 최종 응답의 정확성뿐 아니라 일관성과 가독성도 같은 기준을 충족해야 한다.
응답 패턴 정렬(Response-Pattern Alignment): — 추론 모드가 thinking에서 non-thinking으로 바뀌어도 사용자에게 전달되는 최종 응답의 형식과 의미가 허용 범위 안에 유지되는지를 평가하는 개념이다. 정확한 답을 내더라도 사고 과정 노출, 반복, 모순이 발생하면 정렬이 깨진 것으로 본다.
사고 과정 노출(Chain-of-Thought Leakage): — 내부 추론의 흔적, 초안, 자기 수정, 명시적인 thinking 표지가 사용자에게 보이는 최종 답변에 포함되는 오류다. 간결하고 다듬어진 근거 설명은 제외하며, 실제 내부 상태가 공개됐다는 뜻이 아니라 관찰 가능한 응답 형식을 판정한다.
수행적 추론(Performative Reasoning): — 결론을 뒷받침하지 못하는 근거를 인용하거나 정보 이득 없이 분석하는 듯한 표현만 덧붙이는 응답 패턴이다. 멀티모달 과제에서는 이미지의 객체, 텍스트, 수량, 위치, 관계 또는 경로가 결론을 실제로 지지하는지 함께 판단한다.
보상 모델(Reward Model): — 모델 응답을 입력받아 특정 품질 기준에 따른 점수나 오류 신호를 산출하는 학습 모델이다. 이 논문에서는 PatternRM이 네 가지 응답 패턴의 발생 여부를 예측하고, 그 결과를 강화학습 중 보상에서 감점 신호로 사용한다.
GRPO: — 여러 생성 결과의 상대적 보상을 비교해 정책을 갱신하는 강화학습 방법이다. 논문에서는 정답성 보상과 응답 패턴 감점 신호를 결합한 뒤 Qwen3-VL-4B와 Qwen3-VL-8B의 non-thinking 정책을 44,200개 멀티모달 프롬프트로 학습하는 데 사용했다.

하이브리드 사고 MLLM의 응답 패턴 정렬

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Remember‑R1으로 시각적 어텐션 지속화