TL;DR
작성자는 로컬 모델 32종을 1,001개 노트로 fact extraction 벤치마크했고 그중 322개는 출력이 없어야 하는 케이스였다. gemma-4-31B는 F1 0.6872·재현율 0.80으로 많은 사실을 포착했으나 비응답 케이스에서 46% 비응답·180개 허위 삼중항을 생성했고, gemma-4-12B는 F1 0.6854·70% 비응답·97개 허위 삼중항으로 같은 F1에서 허위 생성량이 크게 달랐다. 작성자는 F1 옆에 abstention·invented-triple 수치를 병기하고 '정답은 침묵'인 케이스를 코퍼스에 포함시키라고 권하면서, 파이프라인의 검증·쓰기 로직에 따라 재현율 우선 또는 절제 우선 전략을 선택하라고 권고한다.
주요 논점
높은 재현율을 우선해야 한다는 주장은 downstream에서 잘못된 사실이 검토 프로세스로 걸러질 때 유효하다. 작성자는 gemma-4-31B가 재현율 0.80으로 동종 분야에서 최고임을 근거로 제시했고, 이 모델은 더 많은 사실을 포착하므로 리뷰 기반 워크플로에서 실질적 이익을 줄 수 있다. 따라서 쓰기 게이트나 사람 검토가 확실히 개입하는 파이프라인에서는 recall 우선 선택이 타당하다고 본다.
오토매틱 데이터 저장·재검증이 없는 파이프라인에서는 restraint가 우선되어야 한다는 입장이 제시된다. granite-4.1-3b 사례처럼 F1 순위가 낮아도 93% 비응답과 24개만 허위 삼중항을 생성하는 모델이 downstream에 허위사실을 영구 보존할 위험을 줄인다. 따라서 검증이 없는 그래프나 자동 집계 환경에서는 허위 생성량과 비응답 비율을 낮추는 모델을 선택해야 한다는 관점이 합리적이다.
단일 지표로 모델을 판단해서는 안 된다는 중립적 요지가 반복된다. 작성자는 F1·parse rate·abstention·invented-triple 수치를 함께 보라는 실무 기준을 제시했고, 상황에 따라 어떤 지표에 무게를 둘지 파이프라인에 의존한다고 지적한다. 결과적으로 모델 선택은 수치와 운영 리스크를 함께 고려한 트레이드오프 선택이어야 한다고 본다.
합의점 vs 논쟁점
합의점
- 벤치마크 데이터에 '정답은 침묵'인 케이스를 포함해야 실제 배포 리스크를 반영할 수 있다는 점에서 합의가 있다. 작성자가 사용한 1,001개 노트와 322개의 비응답 케이스는 평가 구성에 무응답 샘플을 넣을 필요성을 보여주는 근거로 제시된다. 따라서 실무에서는 F1뿐만 아니라 abstention·invented-triple 같은 보조 지표를 함께 보고 모델을 비교해야 한다는 점이 공통된 판단이다.
논쟁점
- 동일한 F1 점수에서 어느 모델을 선택할지 문제는 논쟁적이다. gemma-4-31B와 gemma-4-12B는 F1이 거의 같지만 31B가 더 많은 허위 삼중항을 생성해 어떤 지표에 가중치를 둘지 운영 정책에 따라 의견이 엇갈린다. 이 때문에 '최고 F1이 최선'이라는 단순 규칙은 위험하다는 결론과, 반대로 '재현율 우선' 또는 '절제 우선' 중 어떤 선택이 옳은지에 대한 합의는 없다는 점이 논쟁의 핵심이다.
실용적 조언
- 추출기 비교표에는 F1 외에 abstention 비율과 invented-triple 카운트를 반드시 병기하라고 권한다. 작성자는 gemma-4-31B가 F1 0.6872지만 비응답 케이스에서 180개의 허위 삼중항을 썼고, gemma-4-12B는 같은 F1에서 허위 삼중항 97개를 썼다는 구체적 수치를 근거로 든다. 이처럼 수치 비교를 같이 놓으면 동일 F1에서 downstream 리스크가 어떻게 달라지는지 명확해진다.
- 평가 코퍼스에 '사실 없음' 사례를 포함시켜 모델의 비응답 성향을 점검하라고 권장한다. 글쓴이는 전체 1,001개 중 322개가 무응답이 정답인 케이스였음을 밝히며, 이런 케이스가 없으면 파싱률만 높고 허위 생성이 많은 모델을 오판할 위험이 있다고 지적한다. 따라서 데이터셋 설계 단계에서 의도적으로 침묵 케이스를 섞어야 실무적 판단력이 확보된다.
- 모델 선택은 다운스트림 처리 로직에 맞춰 결정하라고 제안한다. 쓰기 게이트가 있어 사람이 리뷰할 수 있으면 재현율 높은 모델을 택하고, 자동 저장·재사용되는 그래프라면 restraint가 강한 모델을 택해야 한다는 실용적 규칙을 제시한다. 이 규칙을 기준으로 후보 모델들을 재정렬하면 F1 순위와 실제 운영 적합성이 달라질 수 있다.
섹션별 상세
용어 해설
- 사실 추출(Fact extraction)
- — 짧은 텍스트를 입력으로 받아 subject–relation–object 형식의 삼중항을 산출하는 작업으로, 입력→모델→추출된 삼중항의 흐름으로 진행된다. 평가는 F1·정밀도·재현율로 이뤄지며, 침묵이 정답인 케이스를 포함해야 실제 배포 리스크를 반영한다.
- 비응답(Abstention)(Abstention)
- — 모델이 '사실 없음'을 선택해 아무 삼중항도 출력하지 않는 동작을 가리킨다. 입력을 판정한 뒤 출력 단계에서 빈 결과를 내는 방식이며, 잘못된 사실 삽입 위험과 직접 연결된다. 사실이 없는 케이스의 비율이 높은 데이터셋에서는 abstention 비율이 성능 판단의 핵심 보조지표가 된다.
- F1 점수(F1 score)
- — 정밀도(precision)와 재현율(recall)의 조화평균으로 추출기 성능을 단일값으로 요약한다. 출력된 삼중항의 정답 일치와 누락을 동시에 반영하며, 단독 수치로는 비응답·허위 생성량을 가릴 수 없다. 따라서 abstention·invented-triple 카운트와 병기해야 모델 선택 시 오판을 줄일 수 있다.
- 페어드 부트스트랩 검정(Paired bootstrap)
- — 두 모델 성능 차이가 우연인지 통계적으로 판단하는 재표본추출 방법으로, 동일 데이터셋을 반복 샘플링해 분포를 만든다. 비교 결과가 '구분 불가'일 때는 관찰된 점수 차이가 통계적 유의미성이 낮음을 뜻한다. F1이 근접한 모델들 사이에서 신뢰 구간을 확인할 때 사용된다.
- 로컬 LLM(Local LLM)
- — 클라우드가 아닌 로컬 환경에서 실행하는 언어모델을 의미하며, 모델 크기·하드웨어 제약에 따라 latency와 비용이 달라진다. 사용자 파이프라인에 직접 연결되어 잘못된 출력이 downstream에 영구 저장될 위험이 있다. 따라서 로컬 실험에서는 abstention과 허위 생성 측정이 특히 중요하다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
