문학 텍스트의 AI 번역은 '무난'하지만 독자들은 여전히 인간 번역을 선호한다

이 연구는 장문 문학 번역을 실제 독자 경험 관점에서 평가해 독자가 느끼는 몰입감과 문학적 효과가 자동평가로는 잘 포착되지 않음을 드러낸다. 출판 현장에 LLM 기반 번역이 도입될 가능성이 커지는 가운데 독자 선호와 자동 지표 간 불일치를 실증적으로 확인한 점이 출판 정책과 평가 관행에 직접적인 영향을 미친다.

문학 번역의 가치는 단순한 문장 수준의 충실도나 표면적 유창성만으로 측정될 수 없고, 독자의 몰입감·문학적 톤·리듬 같은 전역 경험이 중요하다. 기존 자동평가와 짧은 단위의 인간 평가는 이러한 전역적 특성을 포착하기 어렵다. 따라서 문학 번역의 실제 효과를 평가하려면 독자가 출판물을 읽는 방식과 유사한 장문 읽기 맥락을 포함해야 한다. 본 연구는 이를 해결하기 위해 두 축의 평가를 결합했다. 첫 축은 몰입 읽기로서 약 8,000단어의 발췌를 중단 없이 제시해 독자가 작품 전체의 흐름·리듬·문체를 경험하게 했다. 두 번째 축은 정밀 읽기로서 약 300단어 청크를 나란히 배치해 개별 표현·어휘 선택·문장 구조가 독자 선호의 증거가 되는지 직접적으로 포착했다. 이 두 축을 결합하면 전역적 인상과 로컬 증거 사이의 인과적 연결을 분석할 수 있다. 강력한 MT 비교군을 확보하기 위해 에이전트형 파이프라인을 도입했다. 소스 분석 단계에서 스타일 가이드를 자동 생성하고, 1K 토큰 단위로 청크를 보존하며 Codex 기반 번역과 Claude Code 기반 문학 리뷰를 병렬로 수행했다. 각 청크는 충실도와 문학성 리뷰를 통과하는 합격 게이트를 거치며 제한된 지역·전역 반복을 통해 초안을 정교화했고, 이렇게 생성된 MT는 실제 출판 품질에 근접한 후보로서 독자 평가에 투입되었다.

데이터 구축은 최근 출간된 소설의 초반 발췌 31편(평가용 15권, 개발용 16권)을 수집하는 방식으로 진행되었다. 각 평가용 책은 영어로 출간된 전문 번역본(HT)과 에이전트형 파이프라인으로 생성한 기계 번역본(MT)으로 정렬되었고, 발췌는 공백 기반 토큰화로 평균 7,623단어 규모로 선정되었다. 청크 단위 정렬은 약 300단어 평균(μ=296, SD=49)로 이루어졌고 수동 검증을 거쳐 총 386개 청크 페어가 생성되었다. 에이전트형 MT 파이프라인은 세 단계로 구성되었다. 첫째, Claude Code가 소스 텍스트를 분석해 레지스터·용어·기억장치 등 스타일 지침을 생성하고 1K 토큰 단위로 청킹을 수행했다. 둘째, Codex가 청크를 번역하고 자동화된 LiTransProQA 변형으로 충실도를 평가하며 Claude Code 기반의 문학성 검토가 병행되어 합격 게이트를 통과한 청크만 전역 단계로 넘어갔다. 셋째, 전역 단계에서 병합된 초안은 전역 문학성 및 청크 간 일관성 검토를 받고 최종 합격 게이트를 통과하지 못하면 최대 두 차례의 전역 수정 사이클을 거쳤다. 휴먼 평가 절차는 within-subjects 디자인으로 진행되어 각 참가자가 동일한 발췌의 HT와 MT를 모두 읽도록 구성되었다. 참가자 15명은 각자 두 권의 발췌를 평가했고 몰입 읽기 후 24시간 휴식 뒤에 청크 단위 정밀 읽기를 수행했다. 평가 문항은 수치형(5-point Likert), 범주형, 스팬 라벨링, 자유서술을 포함하며 데이터 품질 관리를 위해 화면 시간·통과 암호·이상 행동 검출을 적용했다.

전역(발췌) 수준에서의 선호는 HT가 근소 우위를 보였고(30회 비교 중 19회 HT 선호), 통계적으로 유의미한 차이는 없었다(p = .148). 그러나 정밀 읽기(청크 수준)에서는 HT 선호가 분명해졌고 772회 비교 중 522회가 HT를 선호해 유의미한 차이를 보였다(p = .011). 이 결과는 독자들이 로컬 표현의 차이를 더 민감하게 인지함을 시사한다. 독자의 MT 식별 정확도는 낮아 두 발췌를 모두 읽은 뒤에도 실제 MT를 맞힌 경우가 17/30에 불과했고 신뢰도 높은 판단도 종종 틀렸다. 독자들은 자신이 인간 번역이라고 판단한 버전을 선호하는 경향이 강했고 이로 인해 인지 편향이 선호에 영향을 주는 양상이 관찰되었다. 스팬 주석 분석에서는 HT가 단위당 긍정적 증거를 더 많이 받았고(MT 대비 긍정 스팬 비율이 더 높음), MT는 단위 내부 품질 변동과 부정적 스팬 밀도가 더 높아 한 작품 내에서 품질이 불균등하게 나타났다. 자동 평가 메트릭과 LLM 심사자는 대체로 MT를 더 선호하는 경향을 보였고, 대표 메트릭(LiTransProQA, MetricX-QE, COMETKiwi)과 인간 선호 간의 Kendall τ 상관은 약한 음수 또는 약한 상관을 보여 자동 지표가 독자 선호를 재현하지 못했다. 이로 인해 문학적 품질을 목표로 하는 평가에서는 기존 자동 지표만으로 판단하기에 한계가 있음이 확인되었다.

파이프라인 아키텍처는 세 계층으로 설계되었고 각 계층은 서로 다른 에이전트 역할을 수행했다. 소스 분석 단계에서 Claude Code가 레지스터·용어·번역 메모리를 생성하고 1K 토큰 단위로 청킹을 수행했으며, 청크 레벨에서는 Codex가 번역을 생성하고 자동화된 충실도 검사(LiTransProQA 변형)와 문학성 검토(Claude Code 기반)가 병렬로 작동해 합격 여부를 결정했다. 합격 게이트는 주요 충실도 또는 문학성 문제를 발견하면 해당 청크를 최대 세 회의 지역 수정 루프에 반송하도록 설계되었다. 전역 단계에서는 수정된 청크를 병합해 전체 초안을 만들고 전역 문학성 및 청크 간 일관성 검사기를 통과시켜 최종 합격 게이트를 통과해야 했다. 전역 합격 게이트에 실패한 초안은 최대 두 차례의 전역 수정 사이클을 거쳤고 비용과 효율성을 고려해 반복 횟수는 제한적으로 설정되었다. 이 구조는 장문 번역에서 지역적 표현과 전역 일관성을 모두 확보하려는 설계적 선택을 반영한다. 데이터 정렬·주석은 수동 검증과 자동 도구(par3 aligner, Gemini 3.1 Pro 기반 정렬 보조)를 조합해 수행되었다. 통계 분석에는 mixed-effects 회귀모형을 사용해 독자·도서 랜덤 효과를 통제했고 p-value와 효과값을 보고했다. 자동 메트릭 비교에서는 문단 수준 점수를 청크에 평균화하거나 직접 청크 수준에서 평가해 Kendall τ 상관을 계산했다.

연구는 비용 제약으로 책의 첫 발췌만 평가했으므로 전권을 통한 서사적 전개와 페이싱이 독자 선호에 미치는 장기적 영향은 반영되지 않았다. 평가 대상 도서는 2025–2026년에 출간된 비평적으로 성공한 작품으로 편향이 존재하며 이로 인해 문학 장르·스타일·상업적 다양성이 제한되었다. 주관적 문학 판단 특성상 각 책에 대해 두 명의 독자만 참여했기 때문에 표본 크기와 일부 합의 지표의 신뢰도에 한계가 있다; 저자들도 이 한계를 명시적으로 보고하고 추가 대규모 연구를 권고했다.