18개 모델의 '슬롭' 점수 비교

댓글 반응은 링크된 오픈소스 자료와 인간 기반 평가를 높게 본 의견과, 시나리오·프롬프트 민감성 때문에 결과 해석에 신중해야 한다는 의견이 섞여 있었다. 일부 참가자는 Fable 사례를 들어 벤치마크 최적화가 의도치 않은 스타일적 부작용을 낳을 수 있다는 점에 공감했다. 다른 참가자들은 모델별 기본 설정·디코딩 파라미터가 결과에 큰 영향을 줄 수 있으니 추가 실험을 요구하는 목소리를 냈다.

• 벤치마크를 활용할 때는 인간 판정과 기계적 지표를 함께 보되, 두 축이 상충할 때 어떤 지표에 가중치를 줄지 명확히 규정해야 한다. 실무에서는 제품 특성에 따라 간결성·템플릿성·리듬 등 특정 축의 가중치를 조정해 모델 선택 결정을 최적화하는 것이 바람직하다. 또한 결과 재현을 위해 프롬프트·디코딩 파라미터를 공개하고 다양한 설정에서 민감도 분석을 수행하라고 권한다.
• 모델 비교 실험을 설계할 때는 다양한 실제 쓰기 상황을 포함해 시나리오 대표성을 확보하는 것이 중요하다. 이메일·슬랙·소셜·에세이처럼 장르별 특성을 반영하면 특정 모델이 특정 장르에서 비인간적으로 보이는지 명확해진다. 마지막으로 결과를 해석할 때는 표본 크기와 투표자 구성, 샘플링 편향 가능성을 함께 고려해야 신뢰성을 확보할 수 있다.
• 오픈소스로 공개된 산출물은 팀 내부 검증뿐 아니라 외부 리뷰를 받아 결과의 일반화를 확인하는 데 유용하다. 다른 연구자들이 동일한 시나리오로 재실험하면 프롬프트 민감성과 표본 편향을 더 잘 파악할 수 있다. 따라서 공개 저장소에 실험 로그·설정·원본 데이터를 함께 제공하길 권장한다.

슬롭(Slop)

— 슬롭은 모델이 인간처럼 보이지 않는 글쓰기 특징을 포괄하는 개념으로, 이 프로젝트에서는 문장 템플릿 반복, 과도한 수식어, 리듬 단조성 등을 합쳐 상대적 비인간성 정도로 규정했다. 입력 텍스트와 생성물의 형태적·스타일적 차이를 여러 축으로 정량화해 점수화하는 방식을 사용했다. 인간 판정 결과와 기계적 휴리스틱을 결합해 최종 순위를 매기는 데 이유가 있다.

인간 선호도(Human Preference)

— 인간 선호도는 동일한 시나리오에서 사람이 더 자연스럽다고 고른 문장을 기준으로 하는 평가 축으로, 단순 통계가 아닌 실제 독자 경험을 반영하려는 목적이다. 이 평가는 456명의 블라인드 표본 평가자로부터 수집된 투표로 수치화되며 기계적 지표와 병행해 해석한다. 결과적으로 기계적 점수가 높아도 인간 선호도에서 낮게 평가될 경우 순위가 크게 달라질 수 있다.

템플릿화(Templating)

— 템플릿화는 다양한 상황에서 모델이 유사한 문장 구조나 동일한 표현을 반복해서 사용하는 현상으로, 이 지표는 문장 패턴 재등장 빈도와 유사도 기반으로 측정했다. 입력 시나리오별로 반복 표현 비율을 계산해 높은 반복성은 슬롭으로 판정했다. 템플릿화는 읽는 사람에게 기계적 인상을 주기 때문에 인간 선호도와 관련되며 가중치를 두었다.

간결성(Conciseness)

— 간결성은 동일한 의도를 전달할 때 문장 길이와 불필요한 장황함을 줄이는 정도로 정의했으며, 입력 의도→출력 문장 길이·중복률·핵심어 전달률을 통해 점수화했다. 장황한 생성은 슬롭 점수를 높이는 요소로 취급되며, 특히 이메일·소셜 텍스트에서 가중치를 더했다. 이 지표는 사람이 선호하는 짧고 명확한 표현과의 일치성을 판단하는 근거로 사용된다.

특유의 단서 표현(Tells)

— 특유의 단서 표현은 모델 생성문에서 반복적으로 나타나는 어휘·구문(예: 'delve', 'it's not just X, it's Y')을 가리키며 빈도 기반으로 정량화했다. 특정 단어군과 문장 패턴의 과도한 사용은 인간성 저하와 연결되어 슬롭 점수에 반영된다. 이 축은 스타일적 신호를 검출해 인간 판정과의 상관관계를 확인하는 데 목적이 있다.