메타인지 피드백 기반 강화학습이 LLM의 신뢰성 있는 불확실성 표현을 유도함

대형 언어 모델은 높은 신뢰도로 잘못된 정보를 제시하는 사례가 있어 사용자 신뢰와 안전 문제를 초래했다. 이 논문은 모델이 자체 수행도를 정확히 판단하도록 학습시켜 표현한 불확실성이 모델의 내적 확신과 일치하도록 하는 방법을 제시했다. 신뢰성 있는 불확실성 표출은 사용자 의존도 조정과 고신뢰 환각 감소에 직접적인 영향을 미치므로 실무적·윤리적 중요성이 크다.

LLM의 불확실성 표출 문제는 모델이 출력한 문장별 confidence와 모델 내부에서 실제로 추정하는 intrinsic confidence가 일치하지 않는 상황에서 발생한다. 기존의 factual calibration은 외부 정확도와의 정합성에 집중했으나 모델 내부 신념과의 정렬은 별개로 남아 있어 high-confidence hallucination이 지속되었다. 본 논문은 모델이 스스로의 수행도를 더 잘 예측하는 능력 자체를 학습 신호로 사용하면 불확실성 표현의 신뢰성이 향상된다는 가정을 출발점으로 삼는다. RLMF는 GRPO의 advantage 개념을 활용해 후보 완료들 간의 상대적 학습 신호를 조정한다. 구체적으로 각 완료 rg에 대해 보상 ρg를 산출하고 기존의 advantage Ag=ρg−ρ̄를 계산한 뒤, faithfulness 성분 fg가 평균을 넘을 때 fg−f̄에 k+Zg를 곱해 메타인지 성능이 우수한 완료를 더 강하게 강화한다. 여기서 Zg는 모델의 예측된 FC(Fpred)와 실제 추정된 FC(Fgold) 간의 제곱 차이를 이용해 1−(Fpred−Fgold)^2로 정의되어 메타인지 정확도를 0~1 범위로 수치화한다. 이 접근은 두 가지 효과를 동시에 낸다. 하나는 모델이 높은 성능을 보이면서도 자기평가가 정확한 완료를 우선 학습함으로써 post-training 성능과 메타인지 모니터링 능력을 함께 개선하는 것이다. 다른 하나는 메타인지 기반 데이터 선택을 통해 훈련 샘플을 상·하위 극단에서 뽑아 모델이 잘하는 사례와 학습이 필요한 사례 모두에서 신호를 받을 수 있게 함으로써 일반화 능력을 높이는 점이다.

전체 접근은 두 단계로 구성된다. 첫 번째 단계에서는 RLMF를 통해 문장 수준의 numerical confidence가 모델의 intrinsic confidence와 정렬되도록 policy를 조정한다. 두 번째 단계에서는 수치적 신뢰도 점수를 히지(hedge) 표현으로 매핑하고 문장·응답 수준의 재작성(prompted rewriting)을 수행해 자연스럽고 문맥에 맞는 언어적 불확실성 표현을 생성한다. RLMF의 핵심 메커니즘은 advantage 재정의이다. 본 논문은 보상 구성 ρg를 faithfulness 성분 r_faith와 기타 품질 제약 오브젝트 r_factual_calib, r_acc, r_strict, r_soft의 가중합으로 정의한다. 각 완료의 메타인지 정합성 Zg는 Fgold(문장별 intrinsic confidence와 보고된 confidence의 일치도, 임계값 τ 사용)와 Fpred(모델의 자기평가 점수) 차이로 계산되며, 최종 메타인지-조정 어드밴티지는 A_g^{RLMF}=(o_g−ō) + ((f_g−f̄)·(k+Zg) if f_g>f̄ else f_g−f̄) 형태로 적용된다. 데이터 선별 절차는 오프라인 자기평가 기반 필터링을 사용한다. 훈련 후보 D_train에 대해 모델이 응답을 생성하고 각 예제에 자기평가 점수(0–100)를 매긴 뒤 N_train^{RLMF}의 절반은 상위, 절반은 하위 점수를 선택한다. 재작성 단계는 비용·다양성·문맥 적합성을 이유로 RL을 반복하지 않고 별도 경량 모델을 사용해 수치 점수를 적절한 hedge 구문 목록으로 변환한 다음 원문을 편집하는 방식으로 수행된다.

실험은 Llama3.1-Instruct(8B)와 Qwen3-8B 등 모델에서 수행되었고 10개 데이터셋의 샘플 기반 평가로 일반화 성능을 검증했다. 표에 따르면 RLMF는 여러 설정에서 cMFG을 크게 향상시켰고, 본 논문은 RLMF가 표준 RL 대비 최대 63%의 개선을 보였다고 보고했다. 또한 RLMF 적용 모델은 cMFG 평균이 0.80 이상으로 각 실험군에서 일관된 FC 성능을 달성했으며 task accuracy와 factual calibration을 보존했다. 데이터 선택 비교에서 메타인지 기반 선별은 랜덤과 활성학습 스타일 선택보다 우수한 cMFG*를 기록했다. 인간 평가에서는 재작성된 언어적 불확실성에 대해 다양성·자연스러움·도움됨·문맥 적합성 항목에서 95–98% 수준의 강한 승률을 보였고, 이 항목들의 상호주석자 일치도는 0.93이었다. 추가 분석으로 RLMF 학습 진행에 따라 모델의 자기평가 성능(Zg)이 꾸준히 개선되는 경향이 관찰되었고, 다양한 훈련 소스(PopQA, SelfAware, HaluEval, UMWP)에서도 안정적 성능이 유지되었다.

전체 아키텍처는 정책 π_θ가 질의 q에 대해 G개의 후보 완료 {r1,...,rG}을 생성하고 각 문장에 대해 보고된 confidence c_i를 포함하는 형태로 동작한다. 각 완료 r_g에 대해 합성 보상 ρ_g를 계산하고 기존 GRPO 방식에서 advantage A_g=ρ_g−ρ̄를 사용하되, 본 논문은 정규화를 제거한 형태와 복수 보상 성분을 결합해 난이도 편향을 완화했다. faithfulness 성분 f_g는 주요 학습 목표로 취급되며, 보조 성분 o_g는 factual calibration, 정확도, 형식 준수 등 품질 제약을 포함한다. 메타인지 지표 Z_g는 Fgold와 Fpred의 차이를 제곱 차로 환산해 1−(Fpred−Fgold)^2로 계산한다. Fgold는 문장별 intrinsic confidence g_i(샘플링 일관성으로 추정)와 보고된 c_i 간의 차이가 임계값 τ 이하인 문장 비율로 정의된다. Fpred는 정책 π_θ 아래에서 모델에게 온라인 추론을 통해 해당 완료의 FC 수준을 예측하도록 유도하여 얻으며, Z_g∈[0,1] 범위로 메타인지 정확도를 표현한다. 어드밴티지 조정식은 A^{RLMF}g=(o_g−ō) + conditional term으로 구성되어, f_g>f̄인 경우 (f_g−f̄)·(k+Z_g)를 적용하고 그렇지 않으면 f_g−f̄만을 사용한다. k 값은 1로 설정되어 메타인지가 낮아도 평균 이상의 faithfulness를 가진 완료가 평균 이하의 faithfulness 완료보다 불이익을 보지 않도록 보장한다. 이 설계은 메타인지 기반 보상이 우수 완료에만 보강적으로 작용하도록 명확한 상·하한을 부여한다. 훈련 및 구현 세부사항으로는 SFT로 출력 포맷 학습을 선행한 뒤 N{train}^{RLMF}=2000의 메타인지 선별 샘플을 사용해 RLMF를 수행했다. 평가 지표로는 cMFG*를 도입했고 Brier Score와 LLM-as-a-Judge 기반 accuracy를 보조 지표로 보고했다. 실험 대상 모델로는 Qwen3(1.7B/4B/8B)와 Llama3.1-Instruct(8B)가 사용되었고 PopQA를 주요 훈련 데이터로 채택했으나 다른 데이터셋으로의 학습에도 견고함이 확인되었다.

논문은 RLMF가 모델의 자기평가 능력(self-assessment)을 개선함을 보고했지만 이것이 메타인지의 모든 역량을 포괄한다는 주장은 하지 않는다. 본 연구는 FC 개선을 목표로 한 특정 메타인지 신호를 최적화하였으며, 광범위한 메타인지 능력(예컨대 전략적 계획이나 장기적 자기조절)의 향상 여부는 별도 연구가 필요하다. 또한 RLMF 학습은 RL 특유의 비용과 샘플링 복잡성을 수반하며, 언어적 재작성 단계는 별도의 모델을 필요로 하므로 실무 적용 시 비용·지연·운영 제약을 고려해야 한다.