TL;DR
이 게시물은 GPT-5.4에서 히브리어 system prompt의 점 형태 부호 하나를 바꿨을 때 아랍어-히브리어 혼합 artifact의 정확한 생성 비율이 달라진 실험을 기록했다. 사용자 입력과 프롬프트를 고정한 5,120회 비교에서 dotted 조건은 4,830건으로 94.3%, undotted 조건은 2,423건으로 47.3%를 기록해 47.0 percentage points의 차이가 났다. 판정은 렌더링 결과뿐 아니라 logical code points, Python escape, UTF-8 hex, grapheme clusters를 대조하는 방식으로 이뤄졌다. 실험은 output-token ceiling을 1부터 1,024까지 순회했으며, 작성자는 공개된 frozen prompts를 이용한 재현 결과를 요청했다.
실용적 조언
- 재현할 때는 GitHub의 frozen prompts에서 full_dotted와 full_undotted를 그대로 사용하고, 두 조건의 사용자 입력과 출력-token ceiling 범위를 바꾸지 않는 편이 좋다. 반환된 결과는 화면에 보이는 모양만 비교하지 말고 logical code points, Python escape, UTF-8 hex, grapheme clusters를 함께 기록해야 한다. 이렇게 해야 한 개의 diacritic 차이가 exact artifact 비율에 미친 영향을 동일한 기준으로 확인할 수 있다.
섹션별 상세
이미지 분석
그림은 두 system prompt의 문자 표기 차이를 위쪽에 배치하고, 아래쪽에 각 출력의 logical code points, Python escape, UTF-8 hex, grapheme clusters를 적었다. Dotted condition은 4,830/5,120으로 94.3359%, undotted condition은 2,423/5,120으로 47.3424%의 exact artifact 비율을 보이며, 점 형태 부호가 포함된 조건이 더 높은 일치율을 기록했다.
Dotted condition과 undotted condition에서 생성된 아랍어-히브리어 혼합 artifact를 나란히 비교한 실험 결과 그림이다.
미리보기에서도 두 조건의 렌더링 문자열과 내부 문자 표현이 함께 제시된다. 왼쪽 dotted 조건은 94.3359%, 오른쪽 undotted 조건은 47.3424%의 관측값을 가지며, 결과 차이를 단순한 시각적 인상이 아니라 문자 인코딩 단위로 확인하게 한다.
동일한 실험 그림의 미리보기로, dotted와 undotted 조건의 혼합 문자 출력 및 Unicode 표현을 비교한다.
용어 해설
- 분음 부호(Diacritic)
- — 문자에 붙어 발음이나 의미를 구별하는 기호이다. 이 게시물에서는 히브리어 system prompt의 점 형태 부호 하나가 입력 문자의 해석과 모델 출력 조건을 바꾸는 변수로 사용됐다.
- 논리적 코드 포인트(Logical Code Points)
- — 문자를 저장하고 처리할 때 각 문자를 식별하는 Unicode 번호이다. 그림은 같은 글자처럼 보이는 문자열도 부호의 유무와 배열에 따라 서로 다른 코드 포인트 목록을 가질 수 있음을 기록했다.
- 자소 클러스터(Grapheme Clusters)
- — 사용자가 하나의 문자 단위로 인식하는 글리프를 구성하는 Unicode 문자 묶음이다. 이 사례에서는 히브리어와 아랍어가 결합된 출력물을 코드 포인트와 별도로 묶어 정확한 artifact 여부를 판정했다.
- UTF-8 인코딩(UTF-8)
- — Unicode 문자를 바이트열로 표현하는 인코딩 방식이다. 실험은 모델 출력의 겉모양만 비교하지 않고 UTF-8 hex 값까지 함께 기록해 부호가 포함된 문자열의 실제 바이트 표현을 확인했다.
언급된 리소스
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
