Anthropic의 사회적 영향 연구팀: AI의 실제 활용과 가치 정렬 탐구

섹션별 상세

Societal Impacts 팀은 AI의 실제 사용 사례와 잠재적 위험을 예측하기 위해 실험, 학습 방법론, 평가 도구를 개발한다.

연구 질문 선정 시 정책적 관련성을 중시하며, 정책 입안자들에게 근거 기반의 데이터를 제공하여 사회 전체에 유익한 결과를 도모한다.

Anthropic Interviewer와 같은 도구를 개발하여 1,250명의 전문가를 대상으로 AI와 일하는 방식에 대한 대규모 자동 인터뷰를 수행했다.

70만 건의 실제 대화 데이터를 분석하여 Claude가 상황에 따라 가치를 어떻게 표현하고 조정하는지에 대한 최초의 대규모 실증적 분류 체계를 구축했다.

Collective Constitutional AI 프로젝트를 통해 일반 대중의 의견을 반영한 AI 헌법을 초안하고 이를 바탕으로 모델을 학습시키는 실험을 진행했다.

사회기술적 정렬(Sociotechnical Alignment): — 기술 시스템이 인간의 가치, 사회적 규범 및 기대와 일치하도록 설계하고 조정하는 과정이다. 기술적 구현뿐만 아니라 사회적 맥락을 동시에 고려하여 AI의 안전성과 신뢰성을 확보하는 데 필수적이다.
헌법적 AI(Constitutional AI): — AI 모델에 명시적인 원칙(헌법)을 제공하여 인간의 직접적인 피드백 없이도 스스로 정렬되도록 학습시키는 기법이다. 모델이 자신의 응답을 스스로 평가하고 수정하게 함으로써 대규모 정렬을 가능하게 한다.
스케일링 법칙(Scaling Laws): — 모델 크기, 데이터량, 컴퓨팅 자원이 증가함에 따라 모델의 성능(손실 함수)이 예측 가능하게 개선되는 상관관계이다. 이는 모델의 성능은 예측 가능하지만 구체적인 능력의 발현은 예측하기 어렵다는 특성을 내포한다.