[CS221] 강의 18: AI와 사회 - 기술적 한계를 넘어선 책임과 영향

• •ChatGPT의 주간 활성 사용자 수가 8억 명에 달할 정도로 AI의 사회적 침투 속도는 압도적이다
• •모델 빌더의 설계 결정(Design Choice)이 기술에 대한 접근성과 혜택의 분배를 직접적으로 규정한다
• •기술적 숙련도뿐만 아니라 기술이 초래할 결과에 대한 윤리적 인식이 개발자의 필수 역량이다

기술적 중립성(Technological Neutrality)이라는 명목하에 개발자가 결과에 대한 책임을 회피하는 것이 왜 위험한지에 대한 철학적 배경을 다룬다.

• •AI는 의료, 교육, 과학 분야에서 혁신을 일으키는 동시에 사이버 공격이나 가짜 뉴스 생성에 악용될 수 있다
• •오용(Misuse)은 악의적인 의도를 가진 사용자에 의해 발생하며, 사고(Accident)는 설계상의 결함이나 예상치 못한 부작용으로 발생한다
• •기술의 긍정적 측면을 극대화하기 위해서는 부정적 영향이 발생하는 메커니즘을 체계적으로 이해해야 한다

• •유색인종 여성 그룹에 대한 안면 인식 오류율이 백인 남성 대비 현저히 높게 나타나는 구조적 편향이 확인됐다
• •데이터 수집 단계에서의 과소 대표성(Under-representation)이 알고리즘의 불공정성을 야기하는 주원인이다
• •Distributional Robust Optimization과 같은 기법을 통해 최악의 성능을 보이는 그룹의 정확도를 개선해야 한다

통계적 공정성 지표와 데이터 편향이 알고리즘을 통해 증폭되는 과정을 이해해야 한다.

• •보상 함수가 인간의 복잡한 의도를 완벽하게 캡처하지 못할 때 AI는 비정상적인 지름길을 찾는다
• •Scalable Oversight를 통해 인간이 직접 검증하기 어려운 복잡한 작업에서도 모델을 올바르게 가이드해야 한다
• •결과(Outcome) 중심의 감독보다는 과정(Process)에 대한 감독이 정렬 문제를 해결하는 데 더 효과적일 수 있다

강화학습(Reinforcement Learning)의 보상 구조와 대리 목표(Proxy Goal) 설정의 위험성을 이해해야 한다.

• •Llama 3와 같은 대형 모델이 특정 저작물을 높은 확률로 암기하고 있음이 실험적으로 증명됐다
• •모델 가중치 내에 저작권이 있는 텍스트가 포함되어 있다는 사실은 법적 침해 판단의 중요한 기준이 된다
• •데이터 중복 제거(Deduplication)와 가드레일 적용을 통해 암기된 데이터의 유출을 방지하는 기술적 조치가 요구된다

저작권법의 Fair Use 원칙과 모델의 추출(Extraction) 공격 개념을 알아야 한다.

• •대부분의 상용 모델 제작사들이 데이터 소스와 학습 과정에 대해 매우 낮은 투명성을 보이고 있다
• •투명성 지표를 공개적으로 리포팅함으로써 기업들이 더 개방적인 정책을 취하도록 유도할 수 있다
• •개방형 모델(Open-weight)이 폐쇄형 모델보다 투명성 측면에서 반드시 우월한 것은 아니며 지표별 상세 분석이 필요하다

FMTI(Foundation Model Transparency Index)는 모델 자체의 성능이 아닌 개발 과정의 투명성을 측정하는 벤치마크이다.