ChatGPT의 CAPTCHA 해결 능력과 새로운 피드백 인터페이스

실용적 조언

모델의 안전 필터를 테스트할 때 다양한 시각적 입력을 활용하여 거부 경계를 파악할 수 있다

섹션별 상세

01

ChatGPT는 이미지 내의 특정 객체를 정확히 식별하여 CAPTCHA 문제를 해결하는 능력을 보였다. 입력된 3x3 그리드 이미지에서 '음악을 연주하는 데 사용되는 물체(기타)'를 찾아내라는 요청에 대해 각 행과 열의 위치를 정확히 짚어냈다. 이는 멀티모달 모델의 시각적 이해도가 실제 웹 보안 요소를 분석할 수 있는 수준임을 입증했다. 다만 실제 서비스 적용 시에는 보안 정책과의 충돌이 발생한다.

ChatGPT의 두 가지 응답을 비교하는 피드백 인터페이스 스크린샷 — Screenshot왼쪽 응답은 CAPTCHA 이미지 속 기타의 위치를 정확히 설명하며, 오른쪽 응답은 보안 정책상 도움을 줄 수 없다는 표준 거부 메시지이다. 상단에는 '새로운 버전의 ChatGPT에 대한 피드백을 제공하고 있다'는 문구가 명시되어 OpenAI의 모델 개선 과정임을 나타낸다.

02

OpenAI는 모델의 응답 품질을 개선하기 위해 두 가지 대조적인 답변을 제시하고 사용자의 선호를 묻는 인터페이스를 운영 중이다. 'Response 1'은 기술적인 해결책을 제시한 반면, 'Response 2'는 CAPTCHA 우회 지원 불가라는 안전 가이드라인을 준수했다. 이러한 A/B 테스트 방식의 피드백 수집은 모델이 유용성(Helpfulness)과 안전성(Harmlessness) 사이에서 균형을 잡도록 학습시키는 핵심 과정이다.

용어 해설

캡차(CAPTCHA): — 인간과 컴퓨터를 구별하기 위한 보안 기술이다. 이미지 속 문자를 읽거나 특정 객체를 선택하게 하여 자동화된 봇의 접근을 차단한다. AI의 시각 인지 능력이 향상됨에 따라 모델의 성능을 측정하는 비공식적인 벤치마크로도 활용된다.
인간 피드백 기반 강화학습(RLHF): — 모델이 생성한 여러 응답 중 인간이 선호하는 것을 선택하면 이를 보상 신호로 삼아 모델의 행동을 교정하는 기법이다. 모델의 답변을 인간의 가치관이나 안전 가이드라인에 맞게 정렬(Alignment)하는 데 필수적이다.