보안, 프라이버시 및 오남용 방지: AI에 신뢰를 구축하는 Amazon의 책임감 있는 AI 파이프라인

섹션별 상세

사전 학습 단계에서는 모델이 안전 지침을 내재화할 수 있도록 고품질의 RAI 데이터셋을 주입합니다. 단순히 유해 콘텐츠를 필터링하는 것에 그치지 않고, 유해함의 개념과 거부 이유를 교육하여 사후 학습 가드레일의 효과를 극대화합니다. 이를 위해 텍스트뿐만 아니라 이미지와 오디오 등 다양한 모달리티를 동일한 의미 공간에 정렬하는 기술을 적용합니다.

사후 학습 단계에서는 인간 피드백 기반 강화학습(RLHF)을 통해 모델의 판단력을 정교화합니다. 인간이 평가한 답변 순위를 학습한 보조 보상 모델(Auxiliary-reward models)이나 독립적인 LLM 판독기를 활용하여 모델이 정책을 준수하도록 최적화합니다. 이 과정에서 모델은 모호한 상황에서도 인간의 기대에 부합하는 답변을 생성하는 능력을 갖추게 됩니다.

평가 팀은 모델의 취약점을 찾아내기 위해 의도적으로 부적절한 응답을 유도하는 '모델 파괴 데이터셋'을 구축합니다. 프라이버시, 안전성, 공정성 등 8대 핵심 원칙을 기준으로 레드팀 테스트와 외부 보안 파트너의 벤치마크를 수행합니다. 최근에는 장기 대화에서의 기만 행위 탐지와 자율 에이전트를 활용한 자동화된 레드팀 프레임워크 연구에 집중하고 있습니다.

프런티어 리스크 관리를 위해 CBRN 및 사이버 보안 위협에 대한 엄격한 검증 프로세스를 운영합니다. 자동화된 벤치마크가 위험 지식을 감지하면 즉시 도메인 전문가의 수동 검토가 트리거되는 구조를 갖추고 있습니다. 정당한 연구 목적의 사용자에게는 LoRA 기술을 활용하여 기본 모델을 수정하지 않고도 특정 용도에 맞는 안전한 접근 권한을 제공하는 구성을 탐구 중입니다.

기술

RLHF
LoRA
Amazon Nova
LLM

활용 사례

안전한 고객 서비스 챗봇 구축
CBRN 및 사이버 보안 위협 방지
다국어 모델의 문화적 편향 제거

언급된 리소스

문서Frontier Model Forum

문서Partnership on AI