GDM AGI Safety and Alignment 팀 채용

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

GDM의 AGI Safety and Alignment Team이 여러 직무에서 인력을 채용하고 있다. 팀은 AGI 정렬·비정렬 배포 방어·조정된 안전을 연구하며 거버넌스 적용 가능성을 염두에 둔 표준화 가능한 평가와 지표 개발에 주력한다. 공개된 논문과 요약 자료, AGI 안전 코스 플레이리스트가 연구 방향과 실무 사례를 파악하는 근거를 제공한다.

섹션별 상세

GDM의 AGI Safety and Alignment Team이 여러 직무에서 인력을 채용하고 있다. 팀은 Rohin Shah가 이끌며 AI로 인한 실존적 위험을 줄이는 것을 목표로 한다. 지원은 미국·영국 채용 공고 링크를 통해 제출하도록 안내되고, 역할은 member of technical staff로서 연구 엔지니어 또는 과학자 성향의 다양한 인재를 수용하는 유연한 구조이다.

근거

GDM의 AGI Safety and Alignment Team이 여러 직무에서 인력을 채용하고 있다. — 게시물 첫 문단과 지원 링크(미국·영국 채용 공고)를 확인하면 채용 공고와 지원 경로가 명시되어 있다. 출처

팀의 연구 초점은 더욱 발전된 AI에서 발생할 수 있는 더 심각한 해악의 위험을 다루는 데 있다. 구체적으로 AGI 정렬, 비정렬된 배포로부터의 방어, 그리고 조정된 안전을 지원하는 활동을 운영한다. 이 접근은 arXiv에 공개된 'AGI Safety and Security Approach' 문서와 최근 작업 요약을 통해 구체적 방향과 사례를 제시하고 있다.

근거

팀은 AGI 정렬, 비정렬된 배포에 대한 방어, 조정된 안전 지원 등을 주요 업무로 삼고 있다. — 본문의 'What do we do?' 섹션과 'AGI Safety and Security Approach' arXiv 문서 링크를 참조하면 연구 범위가 서술되어 있다. 출처

ASAT은 거버넌스 요구를 충족시키기 위한 기술적 수단을 미리 구축하는 데 중점을 둔다. 표준화·판독성·기업 간 적용 가능성·조작에 대한 강인성 같은 거버넌스 성격의 요구를 상정하고, 이를 만족시키기 위한 평가군과 지표를 설계한다. 예시로 위험 능력 평가군, 잠재적 추론 아키텍처를 식별하는 지표, 수년간 AI 진전을 측정하는 방법( Epoch Capability Index의 기반)이 제시되어 있다.

근거

ASAT은 거버넌스 요구에 대응하는 기술적 기반을 미리 구축하는 접근을 취하고 있다. — 본문의 'Technical enablers for governance' 단락과 예시로 제시된 arXiv 논문 목록을 근거로 확인할 수 있다. 출처

조직은 옹호보다 지식 축적을 우선시하는 태도를 분명히 하고 있다. 사실적 논쟁(예: 소프트웨어만으로 지능 폭발이 가능한지)과 실행 문제(예: 초인적 AI 정렬 방법)를 해결하기 위해 근거를 생산하고 실행 역량을 개선하는 기법을 개발하는 데 자원을 배분한다. 이 태도는 Chain-of-Thought( CoT) 학습의 위험 조건을 규명하는 연구처럼 특정 기법의 위험성 여부와 그 조건을 규명한 사례로 드러난다.

근거

조직은 옹호보다 근거 생산을 우선시하며 CoT 학습의 위험 조건 연구를 그 예로 든다. — 본문의 'Prefer knowledge over advocacy' 단락과 CoT 위험성 관련 arXiv 링크를 확인하면 관련 연구가 언급되어 있다. 출처

팀은 최근 활동을 요약한 글과 5분짜리 강의로 구성된 AGI 안전 코스 플레이리스트를 통해 실무적 작업 모습을 공개하고 있다. 이러한 공개 자료는 지원자와 외부 연구자가 팀의 연구 방향과 우선순위를 파악하는 근거 자료 역할을 한다. 딥 정렬과 스트레스 테스트처럼 최근에 생긴 분야는 역동적이라 업무 범위가 변화할 가능성이 있음을 명시하고 있다.

근거

딥 정렬과 스트레스 테스트는 최근에 팀에서 새로 생성된 분야이며 업무 범위가 유동적일 가능성이 있다. — 본문의 'What do we do?' 단락이 최근 작업 요약과 함께 해당 분야의 신설 및 변동 가능성을 명시하고 있다. 출처

용어 해설

정렬(alignment)(Alignment): — AI 시스템의 행위가 인간 의도와 일치하도록 만드는 연구 분야로, 목표 정의·학습 과정·배포 후 거동 검증을 모두 포함하는 기술적 과제를 다룬다.
딥 정렬(Deep alignment): — 고도로 능력 있는 AGI에서 목표 일관성을 확보하려는 연구 분야로, 모델 내부 구조와 학습 역학을 분석해 안전성 보장을 목표로 한다.
스트레스 테스트(Stress testing): — 모델을 극한 상황이나 악의적 입력으로 시험해 실패 모드를 드러내는 절차로, 배포 전 위험을 발견하고 완화책을 설계하는 데 사용된다.
거버넌스 기술 기반(Technical enablers for governance): — 규제·표준·교차기업 적용을 지원할 기술적 수단을 만들기 위한 접근으로, 표준화 가능하고 조작에 강한 지표와 평가법을 개발하는 것을 목표로 한다.
위험 능력 평가(Dangerous capability evaluations): — 모델이 유해하거나 통제 불가능한 행동을 할 가능성을 측정하는 평가군으로, 비교적 표준화된 테스트로 기업 간 비교와 규제 실무 지원을 겨냥한다.
Chain-of-Thought(사고 연쇄)(Chain-of-Thought (CoT)): — 모델이 중간 추론 단계를 언어로 생성하게 하는 기법으로, 특정 조건에서 성능 향상뿐 아니라 안전·위험성 변화의 원인이 될 수 있음을 규명하는 연구 대상이다.